HRNet + Object Contextual Representation

文章内容来自CCF-CV走进高校报告会中MSRA王井东老师的报告“Learning high-resolution and object-contextual representations for semantic representation”

报告中主要介绍了 HRNet 和 OCR 两个方法。下面图中展示的是 timeline for deep semantic segmentation，可以看到 OCR 和 HRNet 是 2019 年提出比较有影响力的方法。而且在 Cityscapes segmentation leaderboard 上排名第一。

首先介绍第一个工作：HRNet: Deep High-Resolution Representation Learning for Visual Recognition, CVPR 2019

当前的语义分割方法需要高分辨率特征，主流方法是通过一个网络得到 低分辨 feature map，然后通过上采样或反卷积 恢复 到高分辨率

下面列举了一些经典方法，看起来不同，但本质核心思路是差不多的。这些方法存在一个缺点，分辨率由高到低会损失信息！

为了解决这个问题，团队提出了一个方法，核心思路是 “不恢复 到高分辨率，而是保持分辨率” 。具体图示如下，把不同分辨率的 feature map 并联，各个分辨率分别一路，“保持”信息。但是，这样仍有一个问题，就是 feature map 彼此之间没有交互。

为此，团队又给网络添加了一些内容，如下图红线所示，各路之间不断进行 repeated fusions。

交互的方式如下：上采样时，先双线性插值，然后用1x1的卷积处理；下采样时，采用步长为2，尺寸为3x3的卷积处理

这就是HRNet 的全部内容，下图是方法的总结：1）以往网络是串联，改为并联；2）以前是降分辨率，改为保持高分辨率；3）通过加强交互，进一步提高性能

现在介绍第二个工作：Object-Contextual Representations for Semantic Segmentation

当前的FCN没有解决好物体上下文信息。因为单独看一个象素，很难知道这个象素是属于某一个物体的，因为象素给我们的信息是RGB的信息，如果不给予足够多的上下文信息是很难判断的。下图列举了商汤的PSPNet和谷歌的ASPP。PSPNet通过给每个象素周围建立多尺度的表征获取上下文信息，当时这个方法取得了非常大的突破。同时谷歌的ASPP也用了类似于空洞卷积的方式来实现上下文信息获取。

当前方法分析上下文信息如下图所示，比如说红色点是我们关注的点，周围绿色几个点是采样出来的，可以看到，绿色点分为两部分，一部分是属于车的，还有一部分是属于背景的。当前方法并没有进行区分。

那我们该怎么办？我们找这个物体，要通过周围物体的象素表征来帮助。因此，我们需要把红色像素周围属于 object 的pixel取出来做为上下文，如下图所示：

具体如何做呢？首先用一个 baseline network 得到一个粗略的分割结果（黄色框中左半部分），同时，还会输出全图的 feature map。分割结果包括K类，我们把每个类别的特征提出来（黄色框中上半部分的特征），如下图所示：

然后， 把红色小方块的的特征经过变换，右边K个区域的特征也经过一个变换，然后计划一下相似度，如下图所示。相似度计算以后，就可以得到红色小方块属于各个类别的可能性。我们根据这个可能性把每个区域的表征进行加权，会得到当前像素增强的特征表示（object-contextual representation）。

这个方法非常容易解释，看上去也比较有道理，最终在cityscapes上可以达到 82.5%，这是目前的SOTA。