Region Normalization for Image Inpainting, AAAI 2020

论文：Region Normalization for Image Inpainting， AAAI 2020

代码：https://github.com/geekyutao/RN

图像修复的目的是重建输入图像的损坏区域。它在图像编辑中有许多应用，例如面部编辑和图像遮挡。图像修复中的关键问题是在损坏的区域中生成视觉上合理的内容。

现有的图像修复方法可以分为两类：传统方法和基于学习的方法。传统方法通过基于扩散的方式来填充损坏的区域，这些方法会将邻近的信息传播到损坏区域。基于学习的方法通常训练神经网络以在损坏区域中合成内容，近年来已大大超越了传统方法。但是，当前的方法大多通过改进网络结构来提升性能，忽略了图像修复的本质问题：损坏的区域大多和未损坏的区域通常是独立的。

将损坏的图像输入到神经网络中可能会产生问题，例如无效像素的卷积以及归一化的均值和方差。但是，当前方法无法解决网络中的均值和方差漂移问题。当前方法大多采用 feature normalization（FN） 进行训练，这些FN方法大多在空间维度上进行归一化，忽略了损坏区域对归一化的影响。

在这篇论文中，作者提出Region normalization(RN)来解决上述问题。根据输入的mask将像素划分为不同的区域，并计算每个区域的均值和方差来实现归一化。

RN算法的思想比较容易懂，如上图所示：绿色部分代表损坏的数据、红色部分代表未损坏的数据，两部分数据分别归一化。

在实现细节上，作者提出两种RN，一个是basic RN，另一个是learnable RN。basic RN如下图所示。对未损坏区域、损坏区域分别归一化，然后会有两组affine transformation参数。在网络的前面几层中，输入图像具有较大的损坏区域，会导致严重的均值和方差漂移。因此，使用RN-B通过分区域归一化来解决这一问题。

经过多个卷积层以后，未损坏区域和损坏区域会融合在一起，这时仍然使用region mask就不可靠了。这个时候，使用RN-L，利用输入特征的空间关系来检测损坏区域，为RN生成region mask。RN-L如下图所示，首先使用 maxpool 和 avgpool 得到两个feature map并拼接在一起。然后使用sigmoid函数得到一个spatial response map。最后，通过阈值得到 region mask。在论文里，\(t=0.8\)。

作者使用了 EdgeConnect 方法的架构。（EdgeConnect包括一个 edge generator 和一个 image generator），在本文中，作者使用了 image generator 做为基础网络。同时，作者把 instance normalization 替换为 RN, RN-B, RN-L. 整体架构如下图所示。

值得注意的是，作者所提出的两种RN是即插即用模块，可以方便地应用于其他图像修复网络。