2. RNN神经网络模型的不同结构

1. RNN神经网络模型原理

2. RNN神经网络模型的不同结构

3. RNN神经网络-LSTM模型结构

1. 前言

RNN( Recurrent Neural Network 循环(递归)神经网络) 跟人的大脑记忆差不多。我们的任何决定，想法都是根据我们之前已经学到的东西产生的。RNN通过反向传播和记忆机制，能够处理任意长度的序列，在架构上比前馈神经网络更符合生物神经网络的结构，它的产生也正是为了解决这类问题而应用而生的。今天本文介绍RNN的几种不同的结构，有1vsN,Nvs1,NvsM等结构。

2. 1vsN RNN结构

输入只有一个\(X\)，输出有多个\(y_1,y_2,...,y_t\)

这种1vsN结构的公式为：
\[
h_t=f(UX+Wh_{t-1}+b)
\]
\[
y_t=softmax(Vh_t+c)
\]

应用场景：

• 从图像生成文字（image caption），此时输入的是图像的特征，而输出的序列是一段句子。
• 从类别生成语言或音乐等。

3. Nvs1 RNN结构

输入有多个\(x_1,x_2,...,x_t\)，输出只有一个\(Y\)

这种1vsN结构的公式为：
\[
h_t=f(Ux_t+Wh_{t-1}+b)
\]
\[
Y=softmax(Vh_T+c)
\]

应用场景：

• 这种结构通常用来处理序列分类问题。如输入一段文字判别所属的类别，输入一个句子判断真情感倾向，输入一段视频并判断它的类别等等。

4. NvsM RNN结构

在NvsM里面我们又可以再细分，如果N=M那就是一一对应的RNN结构

输入有多个\(x_1,x_2,...,x_t\)，输出有多个\(y_1,y_2,...,y_t\)

应用场景：

• 这种广泛的用于序列标注。

另一种是N!=M的RNN结构

输入有多个\(x_1,x_2,...,x_n\)，输出有多个\(y_1,y_2,...,y_m\)

如下所示：

应用场景：

• 这种结构广泛的用于机器翻译，输入一个文本，输出另一种语言的文本。