Residual Attention Network for Image Classification（CVPR 2017）详解

一、Residual Attention Network 简介

这是CVPR2017的一篇paper，是商汤、清华、香港中文和北邮合作的文章。它在图像分类问题上，首次成功将极深卷积神经网络与人类视觉注意力机制进行有效的结合，并取得了远超之前网络结构的准确度与参数效率。仅用与ResNet-50相当的参数量和计算量就得到了远超过ResNet-152的分类性能。

二、Residual Attention Network 的提出

视觉注意力机制是人类视觉所特有的大脑信号处理机制。人类视觉通过快速扫描全局图像获得需要关注的目标区域，而后重点获取所需要关注的目标信息，抑制其他无用信息。人类视觉注意力机制极大的提高了视觉信息处理的效率与准确性。注意力机制已经在自然语言处理中取得了重大成功。但在计算机视觉任务中，如何将视觉注意力机制有效的嵌入到神经网络结构并提升网络性能成为亟待解决的问题。所以本篇论文就做了这方面的尝试，基本想法就是受attention mechanism 和residual的激励，考虑把两者放在一起实现更好的效果。

三、Residual Attention Network 论文详解

Abstract：

论文提出了Residual Attention Network，一种使用注意机制的卷积神经网络，它可以以端到端的训练方式与最新的前馈网络结构相结合。Residual Attention Network是通过堆叠多个注意模块Attention Module来构建的，这些模块产生注意力