Paper Reading:ION

Inside-Outside Net (ION)

论文：Inside-Outside Net: Detecting Objects in Context with Skip Pooling and
Recurrent Neural Networks
发表时间：2016
发表作者：(Cornell University)Sean Bell, C. Lawrence Zitnick,(Microsoft Research)Kavita Bala, Ross Girshick
论文链接：论文链接

本文主要关注目标检测过程中的上下文信息以及多尺度信息两个方面，提出了Inside-Outside Net:
Inside Net: 采用skiping pooling的方式连接不同卷积层输出的feature map，实现多尺度特征的融合
Outside Net: 采用IRNN的结构，整合contextual infomation
在2016年提出的网络中，精度是最高的,超过Faster-RCNN\HyperNet\MRCNN.

• VOC2007, with a mAP of 79.2%,
• VOC 2012, with a mAP of 76.4%,
• COCO, with a mAP of 24.9%.

框架

采用的是Fast RCNN的基本框架(VGG)，通过SS和EB提取Proposal，对于每一个ROI，提取conv3/conv4/conv5对应的特征，fix到固定的长度；
然后将conv5输出的feature map输入到两个IRNN单元提取上下文信息。同样，在输出的context feature map上提取ROI对应的特征，fix到固定长度。
然后将multi-scale特征和context特征先normalize/scale(不同feature map激活值不一样，会导致unstable learning)，然后concate到一起。通过1*1卷积进行降维。输出到分类器去进行cls和reg.

spatial Recurrent Neural Network (RNNs)

RNNs在每一层空间上，通过水平或者垂直的四个方向进行提取上下文信息。使用两个RNNs，保证可以获取整张image的信息。
对比其他common methods for adding contextual information: 还有 global average pooling 和 additional convolutional layers，都很相似。

skip pooling

将multi-scale的feature maps经过roi-pooling layer之后pooling到7x7大小的feature maps，将从不同scale pooled得到的feature maps进行concatenate，然后再利用 1x1Conv layer将feature maps resize到512x7x7的大小。

context features with IRNNs

对于一个feature maps，有四个独立的RNN对其进行上下左右四个方向的移动。

总结：
（1）paper 使用了multi-scale 进行object detection，在浅层Conv层对其feature maps进行roi-pooling， 增强了对small object的detect能力。
（2）使用了RNN对其周围的region的信息，增强feature信息，促进classification。