2017 经典的CVPR 关于ImageCaptioning论文

1.        SCA-CNN: Spatial and Channel-wise Attention in Convolutional Networks for Image Captioning(2017 CVPR)

主要研究方向：大多数现有的基于注意力的图像字幕模型只考虑了空间特征，本文是对同一层的feature map（特征图）加入了权重考虑。

2.        Knowing When to Look: Adaptive Attention via A Visual Sentinel for Image Captioning(2017 CVPR)

主要研究内容： 更多的关注实体词之间的连词，比如“of”等。

解决思路：在框架中加入一个哨兵门，能够决定在生成实体词的时候应该注意图片，在生成连接词的时候，应该关注于语言。

Most methods force visual attention to be active for every generated word. However, the decoder likely requires little to no visual information from the image to predict non-visual words such as “the” and “of”.