神经网络系列学习笔记(四)——神经网络之RNN学习笔记

　　不同于传统的FNNs(Feed-forward Neural Networks，前向反馈神经网络)，RNNs引入了定向循环，能够处理那些输入之间前后关联的问题。

　　RNNs的目的是用来处理序列数据。

　　具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。

LSTM Networks:

　　它与一般的RNNs结构本质上并没有什么不同，只是使用了不同的函数去去计算隐藏层的状态。

　　已经证明，该网络结构在对长序列依赖问题中非常有效。

学习资料：

http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/

http://adventuresinmachinelearning.com/recurrent-neural-networks-lstm-tutorial-tensorflow/