SPG-Net: Segmentation Prediction and Guidance Network for Image Inpainting

pytorch

引言

利用语义分割获取空洞的边缘信息，进而指导修复其一

（挖个坑）deeplab系列

存在的问题：现有的基于生成模型的方法并没有利用分割信息来约束目标形状，导致边界模糊。

解决方法：提出引入语义分割信息，以消除类间的差异和类内的差异。将修复过程将图像修复过程分为分割预测segmentation prediction (SP-Net)和分割指导segmentation guidance (SG-Net)两步，首先预测待修复区域的分割标签，然后根据分割指导生成修复结果。

语义分割部分：两个公共数据集上进行了广泛的比较:Cityscapes数据集和Helen Face数据集

Cityscapes dataset有2,975张街景图像用于训练，我们使用验证集进行测试，其中包含500张图像。

Helen Face数据集有2000张脸图像训练和100张图像测试。并对两个数据集的分割标签进行了精细标注，用于训练。Cityscapes和Helen Face dataset分别注释了35和11个类别。为了更好地捕捉街景的全球结构，我们将35个类别划分为8个类别，分别是道路、建筑、标志、植被、天空、人、车辆和未标记的其他类别。

为了与现有的方法进行比较，我们训练大小为256x256的图像。对于每一张图像，我们在随机位置应用一个带有单个孔的掩模。洞的大小在图像大小的1/8到1/2之间。为了对整个网络进行训练，我们首先使用了目前最先进的语义分割方法Deeplabv3+，并确定了其模型参数。然后分别对SP-Net和SG-Net进行200个epoch的训练，最后100个epoch的学习速率呈线性衰减。

网络结构

整个框架包含三个步骤，首先，我们使用Deeplabv3+从I_0估计S_0。然后利用分割预测网络(SP-Net)对I_0和S_0进行分割预测得到S_R。最后将S_R传递到分割引导网络(SG-Net)作为输入，对最终结果进行预测。

3.1 Segmentation Prediction Network (SP-Net)

网络架构：

SP-Net的目标是在缺失的洞中预测分割标签映射。SP-Net的生成器基于FCN，但用残块代替了膨胀卷积层。用渐进式扩张因子来增加接受野，提供更广阔的输入视野，以捕获图像的全局结构。具体来说，我们的生成器由4个下采样卷积层、9个残块和4个上采样卷积层组成。内核大小在第一层和最后一层为7，在其他层为3。9个残块前3个残块的膨胀系数为2，后3个残块的膨胀系数为4，后3个残块的膨胀系数为8。下采样层和上采样层的输出通道分别为64、128、256、512和512、256、128、64，残差块的输出通道均为512。除最后一层产生最终结果外，在每个卷积层之间使用ReLU和批处理归一层。最后一层使用softmax函数生成一个概率图，预测每个像素的分割标签的概率。

损失函数：

使用多尺度判别器做高分辨率判别器，即3个相同网络架构但处理图像尺寸不同的判别器。每个鉴别器都是一个完全卷积的PatchGAN三个尺寸分别是原尺寸，二分之一，四分之一。

感知损失

联合损失

3.2 Segmentation Guidance Network (SG-Net)

网络架构：它以一个256x256x3的不完整图像i_0和SP-Net预测的分割标签映射S作为输入。SG-Net与SP-Net共享类似的架构，有4个向下采样卷积层、9个剩余块和4个向上采样层。与SP-Net不同的是，最后一个卷积层使用tanh函数生成像素值范围为[−1,1]的图像，然后将像素值重新调至正常图像值。

损失函数：增加了一个感知损失，基于AlexNet的感知网络来测量两个图像补丁之间的感知差异。

联合损失：

实验结果

定性比较：

定量比较