Recurrent Neural Network(3):LSTM Basics and 《Inside Out》

下图是Naive RNN的Recurrent Unit示意图，可以看到，在每个时间点t，Recurrent Unit会输出一个隐藏状态h_t，对h_t加工提取后将产生t时刻的输出y_t。而在下一个时间节点t+1，h_t与下一时刻的输入x_t+1将线性组合后，pass through一个activation function，如tanh，产生状态h_t+1.

LSTM Unit解决了Naive RNN上Vanishing Gradient 和 Exploding Gradient的问题。如下图所示，首先可以看到1在time dimension上，最上方类似传送带的结构，是cell state。我们可以理解为memory，然后在其下方分别有三个gate，是foget gate, input gate and output gate.

Cell State：即上图中最上方的传送带结构，是在时间维度上传递所谓的Cell State，即长期记忆。在Jurgen Schmidhuber的论文"Recurrent Nets that Time and Count"中，称该结构为Constant Error Carrousel(CEC)。可以把CEC理解为《Inside Out》中的memory library，存储着开心、愤怒、悲伤和恐惧的记忆。

疑问：Library是静止的，在传送带上传递个啥？回答：其实作为人脑记忆库而言，看似并没有被放在一个传送带上做类似上图的工作，但实际上，当人体静止不动的时候，我们也被放在时间的车轮上滚滚向前。所以我们如果从此刻开始，记忆的图书馆里，不出、不进，安心的做一个植物人，那么在LSTM的结构中，仅仅保留最上方的那条传输带就可以了.

也即：

C(t)=C(t-1)

Input Gate: 但既然我们在日复一日的工作、生活并产生记忆，那么就必然涉及到新记忆的存储。存还是不存？存在哪里？这个记忆球是否真的重要？此时Input Gate就发挥作用了。对于记忆Library而言，该Gate是一个审核单元，很多不需要的记忆球即刻就被丢弃了，保护了记忆库不被干扰，而对于需要存储的记忆，Input Gate会分配权重。像一家人一起打冰球的这种记忆单元，一定是非常非常重要的，在电影中，它可是Family Island的组成部分哦。

Forget Gate: 为了保证library不被爆仓，当新的记忆单元需要存储时，就会有工作人员，在电影中叫做Fogetter，在LSTM中叫做Forget Gate，来清扫这些没用的记忆球并丢弃。

Output Gate: 在输出部分，虽然我们有很多很多很多的记忆球，但在某一时刻并不需要把所有东西都输出出来。拿出该拿出的就是刚刚好，否则对于输出层而言，也是一种干扰。所以，在输出h_t的时候，output gate会从记忆库中选择需要的记忆球，以合适的方式进行输出。像极了inside out中，headquarter利用传输管道，提取记忆球并进行放映的步骤。

Peephole: 最后一个问题是，到底谁来控制这些Gate? 在最初版本的LSTM中，Gates的状态是由当前时刻的输入x_t和上一时刻的输出h_t-1线性组合后pass through一个sigmoid function来控制的。而目前新版的LSTM则加入了Peephole，即长时记忆单元的值，用当前时刻的输入、前一时刻的输出、前一时刻的长时记忆，三者线性组合再做sigmoid压缩来决定，即：

g = σ(W*x_t+V*h_t-1+U*c_t-1)

这样的设计其实也符合了人脑记忆的工作模式：通过当前的事件，刚刚发生的事情，以及过去的记忆，来共同决定下一步的动作。

当然，和Inside Out电影不同的是，目前并没有情绪或心理学的应用在LSTM中，不过个人倒着实对于Sentiment Analysis有些兴趣，不如今后再来进一步讨论。