吴恩达《深度学习》-第五门课 序列模型(Sequence Models)-第三周 序列模型和注意力机制（Sequence models & Attention mechanism）-课程笔记

第三周 序列模型和注意力机制（Sequence models & Attention mechanism）

3.1 序列结构的各种序列（Various sequence to sequence architectures）

首先，我们先建立一个网络，这个网络叫做编码网络（encoder network）（上图编号 1 所示），它是一个 RNN 的结构， RNN 的单元可以是 GRU 也可以是 LSTM。每次只向该网络中输入一个法语单词，将输入序列接收完毕后，这个 RNN 网络会输出一个向量来代表这个输入序列。之后你可以建立一个解码网络，我把它画出来（上图编号 2 所示），它以编码网络的输出作为输入，编码网络是左边的黑色部分（上图编号 1 所示），之后它可以被训练为每次输出一个翻译后的单词，一直到它输出序列的结尾或者句子结尾标记，这个解码网络的工作就结束了。和往常一样我们把每次生成的标记都传递到下一个单元中来进行预测，就像之前用语言模型合成文本时一样。

在之前的卷积网络课程中，你已经知道了如何将图片输入到卷积神经网络中， 比如一个预训练的 AlexNet 结构（上图编号 2 方框所示），然后让其学习图片的编码，或者 学习图片的一系列特征。现在幻灯片所展示的就是 AlexNet 结构，我们去掉最后的 softmax 单元（上图编号 3 所示），这个预训练的 AlexNet 结构会给你一个 4096 维的特征向量，向 量表示的就是这只猫的图片，所以这个预训练网络可以是图像的编码网络。现在你得到了一个 4096 维的向量来表示这张图片，接着你可以把这个向量输入到 RNN 中（上图编号 4 方框 所示），RNN 要做的就是生成图像的描述，每次生成一个单词，这和我们在之前将法语译为 英语的机器翻译中看到的结构很像，现在你输入一个描述输入的特征向量，然后让网络生成 一个输出序列，或者说一个一个地输出单词序列。事实证明在图像描述领域，这种方法相当有效，特别是当你想生成的描述不是特别长时。

3.2 选择最可能的句子（Picking the most likely sentence）

在语言模型中上方是一个我们在第一周所建立的模型，这个模型可以让你能够估计句子的可能性，这就是语言模型所做的事情。 你也可以将它用于生成一个新的句子，如果你在图上的该处（下图编号 1 所示），有\(