PaperNotes Instance-Level Salient Object Segmentation

---

title: PaperNotes Instance-Level Salient Object Segmentation

comments: true

date: 2017-12-20 13:53:11

description:

updated:

categories:

tags:

https://arxiv.org/pdf/1704.03604.pdf

摘要

现有的显著性检测算法被DL带了一波节奏，但是好像还没有说哪个方法能在显著性区域中找出object instance。本文就是做这件事的：给定输入图，先产生显著性mask，它包含了独立的目标个体。算法包含三个步骤：1.估计显著性图(saliency map);2.检测显著目标的边界(contour)；3.找出所有目标个体。其中前两步是用一个多尺度显著性精调网络算出。。。

Introduction

saliency detection本身仅仅是检测出显著性的区域，而没有精细到目标个体级别。文章认为个体级别是下一步需要关注和解决的问题，把salient instance segmentation问题分解为3个子任务：1)生成pixel-level的saliency mask（用网络来产生）. 2)检测出显著性目标实例的contour，也就是边界检测. 3)找出显著性个体实例，通过产生一些object proposal来做到。最后，基于CRF做微调细节。

提出了MSRNet网络，既能做显著性区域检测，也能做显著性目标个体检测。还创建了一个很有挑战性的数据集。

相关工作

传统的显著性检测方法，分成：

1)bottom-up方法系：基于low-level特征

2)top-down方法系：结合high-level知识

DL也被广泛使用在显著性检测中，基于DL的方法，分成：

1)segmentation or patch based，也就是基于分割或者小块区域的方法：把各个patch独立看待，考虑到patch之间的overlap,这种方法计算量大

2)end2end方式的显著性infernce方法：用一个网络来搞定精度和效率的问题，包括使用了基于RNN的网络，缺点是都只考虑了单个尺度（而本文的MSRNet则考虑了多尺度）。

本文提出的算法

------------     -------------     ------------     ----------
|          |     |           |	   |Salient   |    |          |
|Salient   |     |Salient    |     |Instance  |    |Salient   |
|Region    | =>  |Object     |  => |Generation| => |instance  |
|Detection |     |Boundary   |     |(MCG)     |    |refinement|
|          |     |Detection  |     |          |    |（CRF）   |
------------     -------------	   ------------    -----------

其中第一个subtask和第一个subtask，都用MSRNet来做，先train一个显著性区域检测网络，再用所得网络去fine-tune边界检测。这两个子任务的对应网络的loss函数有所不同，错误乘法系数一个是2倍，一个是10倍。具体见文章。

使用了MCG这个object proposal generation方法，其中gPb用MSRNet来替代产生。