动态记忆网络（DMN）

论文：Ask Me Anything: Dynamic Memory Networks for Natural Language Processing

1、概述

　　Question answering（QA）是一个复杂的自然语言处理任务，它需要杰出的文本理解力和推理能力。自然语言处理中不部分任务都可以归结为 QA 问题。例如机器翻译（这句话翻译成法语是什么？）；序列标注问题（包括词性标注、命名实体识别等）；情感分类等。动态神经网络（DMN）是一个统一的神经网络框架，可以用来处理输出的问题序列，形成语义与情景记忆，然后生成相应的答案。DMN 的整体流程就是输入数据（包括数据和问题），然后生成相应的记忆片段，最后解析生成回答。

2、动态神经网络结构

　　动态神经网络包含了5个模块：输入模块、语义记忆模块、问题模块、片段记忆模块、回答模块。具体的网络结构如下：

　　　　

　　1）输入模块

　　输入模块可以看作一个函数的中间过程，而这个函数最终将返回一个向量表示。输入模块将它的中间值发送给片段记忆模块，片段记忆模块基于问题模块输入的问题和注意机制完成上述函数的计算。输入模块是一个循环神经网络，一般选用GRU，它的输入是词向量（可以通过Glove或者word2vec获得），通过给定的词向量去计算隐藏状态 $c_t$ 。其计算公式如下：

　　$ c_t = SEQ-MODEL(L[w_t^I], h_{t-1})$

　　其中 $L$ 是词嵌入矩阵，$w_t^I$ 是第 $t$ 个词的输入序列。

　　输入模块的输出序列是多个。在输入只有一个句子的情况下，输入模块输出 GRU 的所有隐藏状态。在输入是多个句子的情况下，我们将所有句子拼接，并在每个句子末尾插入句末标记， 每个句末标记的位置的隐藏状态作为输出。

　　2）语义记忆模块

　　在上面图中的语义记忆模块是Glove词向量，事实上就是用来生成词向量的模块，作为输入模块的输入。不过作者说在本工作总没有使用它。

　　3）问题模块

　　问题模块的模型和输入模块相同，并且共享输入模块中的网络结构和词嵌入权重。问题模块的主要作用是帮助片段记忆模块去提取输入模块中输入的信息。隐藏状态的计算公式和输入模块相同，但是输出的结果只有最后时刻的向量值。

　　4）片段记忆模块

　　片段记忆网络基于问题模块中的问题来检索出输入模块中的有用信息。然后推断这些信息生成一个最终的信息表示（也称为记忆），回答模块会基于这个信息表示生成回答。而且片段记忆模块允许多词输入信息，通过注意机制关注每次输入的不同信息。每个输入都会产生一个片段，最后将这些片段归结为记忆。这样我们的模块就可以由多个片段组成，注意机制会关注每个片段的重要信息。这样就行成了传递式推理，因为第一次输入后也许会发现我们需要更多的信息才能得到好的结果。

　　例如上图中的例子：

　　$ question\ :\ Where\ is\ the\ football?$

　　$ inpyt\ :\ John\ put\ down\ the\ football.$

　　通过上面的输入和并不能很好的解决问题，而且又引入了新的问题，因此需要进一步迭代无寻找关于 $John$ 的输入，正如上图中一个问题对应了三个输入一样。值得注意的是在第二次迭代时错误的给予了输入模块中句子2一些权重（0.3）。

　　片段记忆模块中的模型是GRU网络，在这里使用门函数作为注意机制，表达式如下：

　　　　$ g_t^i = G(c_t, m^{i-1}, q) $

　　在这里 $c_t$ 表示本次输入的值，$m^{i-1}$ 表示 $i-1$ pass时的值，$ q$ 表示问题向量。具体的门函数表达式如下：

　　　　$G(c, m, q) = \sigma(W^{(2)} tanh(W^{(1)}z(c,m,q) + b^{(1)}) + b^{(2)})$

　　隐藏层更新表达式：

　　　　$ h_t^i = g_t^iGRU(c_t, h_{t-1}^i) + (1-g_t^i)h_{t-1}^i$

　　第 $i $ 次pass的计算片段，为第 $i$ 个序列的隐藏层最后的输出值，其表达是如下：

　　　　$ e^i = h_{T_C}^i$

　　第 $i $ 次pass之后的记忆值，其计算公式如下：

　　　　$ m^i = GRU(e^i, m^{i-1})$

　　5）回答模块

　　回答模块也是一个GRU网络，从记忆中解码处代表答案的单词序列。回答模块中的网络可以看作是一对多的输入-输出结构。

　　初始化输入值：$a_0 = m$

　　$ t $ 时刻的值：$a_t = GRU([y_{t-1}, q], a_{t-1})$

　　输出值：$ y_t = softmax(W^{(a)};a_t)$

3、训练模型

　　模型的损失函数：回答序列的交叉熵。

　　最小化回答序列的交叉熵来训练模型。