RNNs

什么是RNN网络？

RNNs背后的主要目的是要使用序列本身的顺序信息。在传统的神经网络里，我们假设输入（输出）是条件独立的。但是，在许多任务里，这是个非常非常差的假设。如果你想预测一个序列中的下一个单词是什么，你最好知道它的前一个词是什么。RNNs被叫做循环神经网络是因为它对于序列中的每个元素都做相同的操作，输出会依赖于之前的计算。用另一种说法，RNNs拥有了一个能捕获到目前为止所有计算的结果的记忆单元。从理论上讲，RNNs能使用任意长度的序列信息，但是，在实践中RNNs被限制到只能回溯几步（稍后再讨论这个问题）。下面是一个典型的RNN。

\[A recurrent neural network and the unfolding in time of the computation involved in its forward\\computation. Source: Nature\]

上面的示意图展示了一个RNN展开为整个网络时的样子。通过展开图，我们简单的认为我们写出了全完序列的网络结构。举个例子，如果我们关心的序列是由5个词组成的句子，网络将被展开为一个5层的神经网络，每层表示一个词。计算RNN时的公式如下。

• \(x_t\) 是第\(t\) 步时间下的输入。举个例子，\(x_1\) 可以是一个one-hot 编码的向量，相当于句子的第二个词。
• \(x_t\) 第\(t\)步的隐藏状态，\(s_t\)是基于之前的隐藏状态和当前输入计算出来的：\(s_t=f(Ux_t + Ws_{t-1})\),f通常是一个非线性函数，例如：ReLU函数。\(s_{t-1}\)是需要计算的第一个隐藏状态，通常全部初始化为0.
• \(o_t\)是第\(t\)步的输出。例如：如果我们想预测一个句子中的下一个词是什么，\(o_t\)将会是一个关于我们词典的概率向量。\(o_t=\mathrm{softmax}(Vs_t)\)

这里还有一些需要注意的点：

• 你可以把隐藏状态\(s_t\)当做是网络的记忆单元。\(s_t\)捕获了当前步之前所产生的信息。输出\(o_t\)只是根据第\(t\)步的记忆单元来计算。如上面简要提到的，在实践是它（记忆单元）是比较复杂的，因为\(s_t\)通常无法捕获到很多步之前的信息。
• RNN不像每层都使用不同参数的传统神经网络，RNN所有步共享相同的参数（上面的 U,V,W）。这反映了一个事实，每一步我们都做同样的任务，只有输入不同。这大大减少了我们需要学习的参数数量。
• 上面的示意图每个步骤均有输出，但对于一些任务来说，这个也许不是必要的。例如，当我们预测一个句子的情感的时候，我们可能只关注最后的输出，而不是每个词的情感。相似的，我们也不需要在每个步骤都有输入。RNN的主要特征是捕获了一个序列一些信息的隐藏状态。

RNNs 能做什么？

RNNs 在很多自然语言处理的任务中取得了很大成功。在此刻我要提醒你，最常使用的RNNs是LSTMs,LSTMs相比于普通的RNNs能更好的捕获到长距离依赖。但是不要担心，LSTMs大体上与我们将要在这个课上开发的RNN是一样的，LSTMs只是用一个不同的方法来计算隐藏状态。我们在之后会发文中会包含LSTMs细节。下面是一些RNN在自然语言处理上的应用的例子。

未完待续。。。

本文是翻译自wildml的一篇RNN导读文章。本人英语水平有限，仅共参考学习。