循环神经网络-LSTM

LSTM（Long Short-Term Memory）是长短期记忆网络，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。

LSTM能够很大程度上缓解长期依赖的问题。

LSTM的形象描述

RNN是傻子式的记忆，把所有的事情都记下来，这很容易记忆混乱。

LSTM不同的地方是学会了思考、总结，而且思考方式很符合人类的思维。

首先它会有一定的记忆（初始记忆）和经验。

　　// 记忆：人在学习时会通过各种渠道获取大量资料，但是有些资料这样说，有些那样说，无法确定真假，只能都记住，这就是记忆

　　// 经验：通过一些权威的资料获取的知识，或者自己实际验证过的，作为经验

然后它会综合今天发生的事情和之前的经验，来判断之前的记忆是否正确，然后遗忘错误的记忆，记忆被刷新。

此时的记忆还不包含今天的事情。

然后它并行的做了两件事，第一，把今天发生的事情和之前的经验总结一下（当中肯定有确定是错误的的），第二，对今天发生的事情和之前的经验进行评价，之后它把确定错误的删除，不确定正确与否的放入记忆库，和之前的记忆产生新的记忆，记忆又被刷新。

此时的记忆已经包含今天的事情。

然后它又并行的做了两件事，第一，对当前的记忆进行思考总结，第二，综合今天发生的事情和之前的经验，来对当前的记忆进行评价，然后提炼出新的经验，并且保存所有的记忆。

　　// 经验也是需要被记忆的，也是放在记忆库中

LSTM的结构

先从宏观上感受下RNN和LSTM的区别

传统RNN每个隐层单元内只是一个简单的tanh层 ，LSTM每个隐层单元内有4层结构:3个sigmoid层，1个tanh层

LSTM结构详解

LSTM的关键是细胞状态C，一条水平线贯穿图形上方，这条线上只有少量线性操作，信息在上面流传很容易保持。

第一层是个忘记层，有个遗忘门，决定细胞状态中丢弃什么信息。

把ht−1和xt拼接起来，传给一个sigmoid函数，该函数输出0到1之间的值，这个值乘到细胞状态Ct−1上去。sigmoid函数的输出值直接决定了状态信息保留多少。

比如当我们要预测下一个词是什么时，细胞状态可能包含当前主语的性别，因此正确的代词可以被选择出来。当我们看到新的主语，我们希望忘记旧的主语。

上一步的细胞状态Ct−1已经被忘记了一部分，接下来本步应该把哪些信息新加到细胞状态中呢？

这里又包含2层：

一个tanh层用来产生更新值的候选项，tanh的输出在[-1,1]上，说明细胞状态在某些维度上需要加强，在某些维度上需要减弱；

还有一个sigmoid层（输入门层），它的输出值要乘到tanh层的输出上，起到一个缩放的作用，极端情况下sigmoid输出0说明相应维度上的细胞状态不需要更新。

在那个预测下一个词的例子中，我们希望增加新的主语的性别到细胞状态中，来替代旧的需要忘记的主语。

现在可以让旧的细胞状态Ct−1与ft（f是forget忘记门的意思）相乘来丢弃一部分信息，然后再加个需要更新的部分it∗（i是input输入门的意思），这就生成了新的细胞状态Ct。

最后是输出门，决定输出什么。

输出值跟细胞状态有关，把Ct输给一个tanh函数得到输出值的候选项。候选项中的哪些部分最终会被输出由一个sigmoid层来决定。

在那个预测下一个词的例子中，如果细胞状态告诉我们当前代词是第三人称，那我们就可以预测下一词可能是一个第三人称的动词。

总结一下

比较流行的叫法是“门”

LSTM包括四个输入，一个输出。

Input Gate的功能是外界能否存入值到Memory里去。当打开时，能存入，当关闭时，则不能存入值。
Output Gate的功能是决定Memory的值能否传递到外面单元去。
Forget Gate 的功能是什么时候要把过去记忆的东西忘掉。
Input Gate和Output Gate以及Forget Gate的打开和关闭都是通过学习自己学习得到的。

而LSTM有四个inputs和一个output：
1.想要被存入到Memory里面的值，但是不一定存的进去(看Input Gate的开关)
2.操控Input Gate的输入
3.操控Output Gate的输入
4.操控Forget Gate的输入

一个输出：
Memory输出的值（不一定能输出，要受Output Gate的控制）

以上是最简单的LSTM，后面我会通过实例来阐述复杂一点的LSTM。

LSTM缺点的形象描述

接着上面的形象描述讲，LSTM虽然在学习方法上跟人类很像，但是并不如人类那么智能，为什么呢？

因为LSTM的每个门都有个激活函数sigmoid，sigmoid的特点是大多数时候都要么无限接近1，要么无限接近0，这使得LSTM在总结经验时不能像人类那样很好地吸收精华，去掉糟粕，而是要么全盘忘掉以前，要么全盘接受以前，要么全盘否定现在，要么全盘接受现在，所以LSTM只能算是个比较极端的人。