论文笔记：Heterogeneous Memory Enhanced Multimodal Attention Model for Video Question Answering

Heterogeneous Memory Enhanced Multimodal Attention Model for Video Question Answering

2019-04-25 21:43:11

Paper：https://arxiv.org/pdf/1904.04357.pdf

Code: https://github.com/fanchenyou/HME-VideoQA

1. Background and Motivation: 

用 Memory Network 做视觉问题回答并不是特别新鲜，因为 CVPR-2018 已经有很多工作，都是用这种外部记忆网络来进行知识的读取，从而更好的辅助 VQA。但是本文做的是另外一种 task，video question answer，相对来说，视频的肯定要更难一些。如何很好的根据问题，到视频中去定位相关的视频帧，从而更好的完成问题回答，是一个需要关注的问题之一。

现有的方法都尝试对视频或者问题进行 attend 处理，以得到更好的结果：

1. Jang et al. 对视频特征的空间和时间维度都进行加权处理（spato-temporal attention mechansim on both spatial and temporal dimension of video features）；他们也提出用 VGG 和 C3D 来提取 appearance 和 motion feature 来更好的表达视频帧；但是他们采用前期融合的方法，然后输入到 video encoder 中，这种方式得到的效果，并不是最优的；

2. Gao et al. 提出用更先进的 co-attention mechanism 来替换掉 Jang 的前期融合的方法；但是这种方法并没有同速进行 appearance 和 motion feature 检测到的 attention；与此同时，这种方法也丢失了可以从表观和运动特征中得到的 attention；

作者认为：现有方法未能正确的识别 attention，是因为他们分开进行了特征的融合 (feature integration) 和注意力学习 (attention learning) 的步骤；为了解决这一问题，作者提出一种新的多种记忆（heterogeneous memory）来同时完成融合 appearance and motion features 以及 learning spatio-temporal attention。

另外，如果 question 有非常复杂的语义信息，那么 VideoQA 就会变得异常复杂，从而需要多个步骤的推理。现有的方法都是简单的用 Memory Network 来处理这种情况，但是作者认为他们的方法太多简单，用 LSTM 或者 GRU 得到的 single feature vector 缺乏捕获问题中复杂语义的能力，如图 1 所示。所以，就需要设计一种新的模型来理解问题中复杂的语义信息。为了解决这一问题，作者提出一种新的网络结构，尝试将 question encoder 和 question memory 来互相增强。question encoder 学习问题的有意义表达，然后重新设计 question memory 来理解复杂的语义，然后通过存储和更新全局内容来强调检索的物体。

此外，作者也设计了一种多模态融合层，通过对齐相关视觉内容和关键问题单词，来同时对 visual 和 question hints 进行加权处理。在逐渐优化联合 attention 之后，再将其进行加权融合，然后进行 multi-step reasoning，以从复杂的语义中进行正确答案的推理。

2. The Proposed Method: 

2.1 Video and Text Representation: 

对于 video，作者用 Resnet, VGG 和 C3D 模型来提取 appearance and motion feature, $f^a, f^m$. 然后用两支 LSTM 模型分别对 motion and appearance features 进行处理，最终放到 memory network 中进行特征融合；

对于 question，先用 Glove 300-D 得到 embedding，然后用 LSTM 对这些向量进行处理。

2.2 Heterogeneous Video Memory：

与常规的 external memory network 不同，作者新设计的网络处理多个输入，包括编码的 motion feature，appearance feature；用多个 write heads 来决定内容的写入，如图 3 所示。其中的 memory slots M = [m1, m2, ... , ms] 以及 三个 hidden states $h^m, h^a$ and $h^v$。前两个 hidden state $h^m$ 和 $h^a$ 用来表示 motion 和 appearance contents，将会写入到记忆中，$h^v$ 用于存贮和输出 global context-aware feature，该特征是融合了 motion 和 appearance information 的。

 

2.3 External Question Memory：

该问题记忆的目标是存贮 sequential text information，学习不同单词之间的相关性，并且尝试从全局的角度来理解问题。

2.4 Multi-modal Fusion and Reasoning :

==