机器学习：深入理解 LSTM 网络 (一)

Recurrent Neural Network

Long Short Term Memory Networks (LSTMs) 最近获得越来越多的关注，与传统的前向神经网络 (feedforward network)不同，LSTM 可以对之前的输入有选择的记忆，从而有助于判断当前的输入， LSTM的这一特点在处理时序相关的输入时，有着很大的优势。

LSTM 由 Recurrent Neural Networks (RNN) 演化而来，所以在介绍LSTM之前，我们先来简单了解一下RNN. 人类的思考不是每时每刻都会从头开始，特别是在阅读的时候，你对当前词语的理解，于你之前阅读的积累有关，换句话说，人类的思考有持续性。

在解决时序相关的输入信号时，传统的神经网络无能为力，因为其直进直出的结构特性使其只能对当前的输入做出处理，而无法利用之前的信息。RNN的提出很好地解决了这个难题，RNN 与传统的神经网络不同，RNN 是一个循环网络，可以很好的存储信息。

上图给出了一个 RNN 的网络结构，A 表示神经网络的一块，Xt 表示当前的输入，ht 表示当前的输出，这个自循环的箭头表示信息可以从当前时刻传递到下一个时刻。

为了更加直观的表示 RNN， 我们可以将上面的图展开来，可以得到如下所示的图：

上图表示RNN可以看成是同一个神经网络的多重复制，每一次都把当前的信息传递到下一个。这种链式结构说明了RNN与时序信号是紧密相连的，RNN 看起来似乎对处理时序信号非常有效。确实如此，近些年，RNN 结构已经成功地应用于语音处理，文本翻译，图像标注，语言模型等，这样归功于RNN中一种特别的网络结构，就是我们要重点介绍的LSTM。

The Problem of Long-Term Dependencies

RNN 结构的一个吸引人之处在于其可以利用之前的输入信息。但是一个关键的需要解决的问题是当前的信息与之前的信息的关联度有长有短。有的时候，对于当前输入输入的信息，我们只要利用最近的一段输入信息就可以做出判断，但是有的时候，对于当前输入的信息，我们可能要之前输入的更长的一段信息才能做出判断。下面两个图显示了对于不同长度的信息关联度，RNN会有不同的结构：

这个结构意味着，当前信息与之前信息的关联度更短，只要最近的信息就可以。

这个结构意味着，当前信息与之前信息的关联度要更长，需要更久远的信息才能做出判断。

随着，信息关联度越来越长，RNN 将变得无法去学习这些信息之间的联系，从而完全失去作用，为了解决这个问题，所以提出了 LSTM 的结构。

我们要在下一篇里详细介绍LSTM 的结构。

参考来源：

http://colah.github.io/posts/2015-08-Understanding-LSTMs/