RNN，GRU，LSTM

2019-08-29 17:17:15

问题描述：比较RNN，GRU，LSTM。

问题求解：

• 循环神经网络 RNN

传统的RNN是维护了一个隐变量 h_t 用来保存序列信息，h_t 基于 x_t 和 h_t-1 来计算 h_t 。

h_t = g( W_i x_t + U_i h_t-1 + b_i )

y_t = g( W_o h_t + b_o )

• 门控循环神经网络 GRU

门控循环神经网络(Gated Recurrent Unit，GRU)中引入了门控机制。

Update：Γ_u = g( W_u x_t + U_u h_t-1 + b_u )

_ht^~ = g( W_c x_t + U_c h_t-1 + b_c )    -Candidate

_ht = Γ_u * h_t^~ + Γ_f * h_t-1

【注】实际使用中还会加入重置门，可以看成计算了 h_t-1 和 x_t 之间的相关性

Γr = g( W_r x_t + U_r h_t-1 + b_r )

_ht^~ = g( W_c x_t + Γr U_c h_t-1 + b_c )

• 长短期记忆网络 LSTM

长短期记忆网络（Long Short Term Memory，LSTM）是循环神经网络的最知名和成功的扩展。由于循环神经网络有梯度消失和梯度爆炸的问题，学习能力有限，在实际的任务中往往不达预期。LSTM可以对有价值的信息进行长期记忆，从而减小循环神经网络的学习难度，因此在语音识别，NER，语言建模等问题中有着广泛的应用。

与传统的循环神经网络对比，LSTM仍然是基于x_t 和 h_t-1 来计算 h_t ，只不过对计算的内部流程进行更加精心的设计。

LSTM中引入了cell memory称为 c_t ，h_t 由 cell memory生成。

LSTM在前向传播的时候不仅传递 h_t ，而且还传递 cell memory，cell memory实际形成了一个信息的流通的highway。

LSTM中加入了三个门更新门（也有称为输入门） Γ_u，遗忘门 Γf，输出门 Γo。这里的门的概念可以理解为相关性，本质是三个权重。

Update：Γ_u = g( W_u x_t + U_u h_t-1 + b_u )

Forget：Γ_f = g( W_f x_t + U_f h_t-1 + b_f )

Output：Γ_o= g( W_o x_t + U_o h_t-1 + b_o )

这三个门都是作用在cell memory上的，那么cell memory怎么计算呢？

c_t^~ = g( W_c x_t + U_c h_t-1 + b_c )

c_t = Γ_u * c_t^~ + Γ_f * c_t-1

计算完成 c_t 后，就可以根据输出门来求 h_t 了。

h_t = Γ_o * c_t