论文笔记（6）：Weakly-and Semi-Supervised Learning of a Deep Convolutional Network for Semantic Image Segmentation

这篇文章的主要贡献点在于：

1.实验证明仅仅利用图像整体的弱标签很难训练出很好的分割模型；

2.可以利用bounding box来进行训练，并且得到了较好的结果，这样可以代替用pixel-level训练中的ground truth；

3.当我们用少量的pixel-level annotations和大量的图像整体的弱标签来进行半监督学习时，其训练效果可和全部使用pixel-level annotations差不多；

4.利用额外的强弱标签可以进一步提高效果。

这是用image-level labels来做的，通过图像的标签对每个像素进行处理，如果该像素的用CNN得到的score map中有该图像标签，则对m位置处的CNN输出做调整并选取其中的最大值作为最新标签，然后用M步中的批量梯度下降法得到新的CNN参数（这个步骤和之前用pixel-level做是一样的），不再需要人工来做大量的工作进行像素级的标定。但是这种方法不太准确，所以用像素级的一部分标签加上图像的标签来进行训练。

这篇文章在DeepLab的基础上进一步研究了使用bounding box和image-level labels作为标记的训练数据。使用了期望值最大化算法（EM）来估计未标记的像素的类别和CNN的参数。

对于image-level标记的数据，我们可以观测到图像的像素值和图像级别的标记,但是不知道每个像素的标号,因此把 当做隐变量。使用如下的概率图模式：

使用EM算法估计和。E步骤是固定求的期望值，M步骤是固定使用SGD计算。

对于给出bounding box标记的训练图像，该方法先使用CRF对该训练图像做自动分割，然后在分割的基础上做全监督学习。通过实验发现，单纯使用图像级别的标记得到的分割效果较差，但是使用bounding box的训练数据可以得到较好的结果，在VOC2012 test数据集上得到mIoU 62.2%。另外如果使用少量的全标记图像和大量的弱标记图像进行结合，可以得到与全监督学习(70.3%)接近的分割结果(69.0%)。