第十节课-RNN介绍

2017-08-21

这次的课程介绍了RNN的相关知识；

首先是RNN的几种模型：

分别又不同的应用场景，包括机器翻译，视频的分类。。。

RNN的解释：

主要的特点就是用到了上一个隐含状态的信息，所以RNN网络具有记忆的特性；

一个例子：Vanilla网络：

接下来是RNN的coputational graph：

特点就是W权重矩阵一直重复使用，然后就是这个图是多对多的模型，最后给出输出态之后还可以计算每个输出状态的损失loss；

接下来的部分介绍了RNN的一个例子，预测当前字符的下一个字符是什么；然后介绍了反向传播算法再RNN的一个改动，并且介绍了RNN的应用例子，比如生成一段文字，为图片生成一段文字描述，当然这个需要和CNN结合使用；

然后介绍了vanilla网络再反向传播计算梯度的时候遇到的问题，梯度爆炸和梯度消失，针对消失问题，引入了LSTM来解决：