RNN循环神经网络学习——概述

　　循环神经网络（Recurrent Neural NetWork,RNN）是一种将节点定向连接成环的人工神经网络，其内部状态可以展示动态时序行为。

　　循环神经网络的主要用途是处理和预测序列数据。循环神经网络最初就是为了刻画一个序列当前的输出与之前信息的关系。从网络结构上来看，循环神经网络会记忆之前的信息，并利用之前的信息影响后面节点的输出。也就是说，循环神经网络的隐藏层之间的节点是有连接的，隐藏层的输入不仅包含输入层的输出，还包括上一时刻隐藏层的输出。

　　

　　

　　如图为典型的RNN结构示意图。RNN主体结构的输入，除了来自输入层的x_t 还有一个循环的边来提供上一时刻的隐层状态S_t。在每一时刻，RNN的模块在读取了X_t和S_t-1之后会产生新的隐藏状态S_t,并产生本时刻的输出O_t。RNN当前的状态是由上一时刻的状态S_t-1和当前的输入X_t共同决定的。对于一个序列数据，可以将这个序列上不同时刻的数据依次传入循环神经网络的输入层；而输出既可以是对序列下一时刻的预测，也可以是对当前时刻信息的处理结果。循环神经网络要求每一时刻都有一个输入，但是不一定每个时刻都有输出。

　　网络在t时刻接收到输入Xt之后，隐藏层的值是S_t，输出值是O_t。S_t的值不仅仅取决于S_t，还取决于S_t-1。可以用下面的公式来表示。

　　　　　　O_t=g(V*S_t)                                        式1

　　　　　　S_t=f(U*Xt+W*S_t-1）                          式2

　　式1是输出层的计算公式，输出层是一个全连接层，它的每个节点都和隐藏层的每个节点相连。其中V是输出层的权重矩阵，g是激活函数。

　　式2是隐藏层的计算公式，它是循环层。其中U是输入x的权重矩阵，W是上一次的值S_t-1作为这一次输入的权重矩阵，f是激活函数。

　　由上面两个式子可以得出，循环层和全连接层的区别就是循环层多了一个权重矩阵W。

循环神经网络的训练算法：

　　如果将RNN进行网络展开，那么参数W、U、V是共享的，并且在使用梯度下降算法时，每一步的输出不仅仅依赖于当前步网络的状态，还依赖于前面若干步网络的状态。采用BPTT(Back Propagation Trough Time)沿时间反向传播算法进行训练，步骤如下：

　　（1）前向计算每个神经元的输入值

　　（2）反向计算每个神经元的误差值，包括两个方向：一个是沿时间爱你的反向传播，计算每个时刻的误差项；另一个是将误差项向上一层传播。

　　（3）计算每个权重的梯度。

　　（4）用梯度下降的误差后向传播算法更新权重。

　　需要注意：理论上，RNN可以支持任意长度的序列。然而，在实际训练过程中，如果序列过长，一方面会导致训练时出现梯度消失和梯度爆炸的问题；另一方面，展开后的循环神经网络会占用过大的内存。所以，实际中会规定一个最大长度，当序列长度超过规定长度后会对序列进行截断。

---

循环神经网络的变种

（1）双向循环神经网络（BRNN)

　　双向循环神经网络的基本思想是每一个训练序列向前和向后分别是两个循环神经网络，而且两个网络都连接着一个输出层。这个结构给输出层提供输入序列中每一个点的完整的过去和未来的上下文信息。

　　双向循环神经网络由两个独立的循环神经网络叠加在一起组成的，其输出也是由这两个循环神经网络的输出拼接而成。下图为一个双向RNN结构。

　　在任一时刻，输入会同时提供给这两个方向相反的循环神经网络，两个独立的网络独立进行计算，各自产生该时刻的新状态和输出；而双向循环神经网络的最终输出是这两个单向循环神经网络输出的简单拼接。两个循环神经网络除方向不同外，其余结构完全对称。每一个网络中的循环体可以自由选用任意机构，如RNN或LSTM网络。

（2）深层循环神将网络

　　深层循环神将网络是指为了增强模型的表达能力，在网络中设置多个循环层，将每层循环神经网络的输出传给下一层进行处理。