NVIDIA | 一种重建照片的 AI 图像技术

简评：或许可以称之为「擦擦乐」~ 建议大家看看视频示例 ~

前几天，NVIDIA 的研究人员介绍了一种新的 深度学习 方法，使用该方法可以重建缺失像素的图像内容。

这种方法被称为「image inpainting」，可以在图像编辑软件中去除不需要的内容，同时用计算机生成的内容进行填充。

虽然有点类似于 PS 中「内容识别」的效果，但是这种新的方法能够处理更大范围的图像缺失，而不仅仅限制在图像中心附近的矩形区域。

简单说就是用神经网络自己想象空白部分的细节。

【Research at NVIDIA- AI Reconstructs Photos with Realistic Results】

研究团队训练这个神经网络，首先生产了 55116 个随机条纹和任意形状大小的孔径，并且创建了 25000 个测试。为了提高重建的准确性，团队根据输入图像的大小进一步分为了 6 类：

为训练生成的蒙版示例

数据集采用 ImageNet，Places2 和 CelebA-HQ。

在训练阶段，将缺失部分引入上述数据集的完整训练图像中，以使网络能够学习重建像素；

在测试阶段，将没在训练期间应用的缺失部分引入数据集中的测试图像里，用以无偏验证。

过往的方法很容易出现颜色差异或者伪像的弊端，但这种新方法由于不依赖必须提供给神经网络确定的输入值，因而输出值与每个接受域缺失像素的值无关，所以这个模型效果要胜过以前的方法。

Reference：
· New AI Imaging Technique Reconstructs Photos with Realistic Results
· [1804.07723] Image Inpainting for Irregular Holes Using Partial Convolutions

More：
· 用 VR 的方式浏览源代码
​ zhuanlan.zhihu.com