LSTM模型

摘自：http://www.voidcn.com/article/p-ntafyhkn-zc.html

（二）LSTM模型

1.长短期记忆模型（long-short term memory）是一种特殊的RNN模型，是为了解决RNN模型梯度弥散的问题而提出的；在传统的RNN中，训练算法使用的是BPTT，当时间比较长时，需要回传的残差会指数下降，导致网络权重更新缓慢，无法体现出RNN的长期记忆的效果，因此需要一个存储单元来存储记忆，因此LSTM模型被提出；

2.下面两个图可以看出RNN与LSTM的区别：

（1）RNN

（2）LSTM

PS：

（1）部分图形含义如下：

（2）RNN与LSTM最大的区别在于LSTM中最顶层多了一条名为“cell state”的信息传送带，其实也就是信息记忆的地方；

3.LSTM的核心思想：

（1）理解LSTM的核心是“cell state”，暂且名为细胞状态，也就是上述图中最顶的传送线，如下：

（2）cell state也可以理解为传送带，个人理解其实就是整个模型中的记忆空间，随着时间而变化的，当然，传送带本身是无法控制哪些信息是否被记忆，起控制作用的是下面将讲述的控制门（gate）；

（3）控制门的结构如下：主要由一个sigmoid函数跟点乘操作组成；sigmoid函数的值为0-1之间，点乘操作决定多少信息可以传送过去，当为0时，不传送，当为1时，全部传送；

（4）LSTM中有3个控制门：输入门，输出门，记忆门；

4.LSTM工作原理：

（1）forget gate：选择忘记过去某些信息：

（2）input gate：记忆现在的某些信息：

（3）将过去与现在的记忆进行合并：

（4）output gate：输出

PS：以上是标准的LSTM的结构，实际应用中常常根据需要进行稍微改善；

5.LSTM的改善

（1）peephole connections：为每个门的输入增加一个cell state的信号

（2）coupled forget and input gates：合并忘记门与输入门