《Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks》论文笔记

Code Address：https://github.com/junyanz/CycleGAN.

Abstract

引出Image Translating的概念（greyscale to color, image to semantic labels, edge-map to photograph.），并申明了本作的动机，不使用 image pairs来训练图片的风格转换：We present an approach for learning to translate an image from a source domain X to a target domain Y in the absence of paired examples.作者希望能学习一个映射maping G，将域A中的图片转换到域B的图片中，，反之，也建立一个映射F，将域B中的图片转成域A中的图片，两个域的训练集图片并不是成对出现。转换后的图片需要分别定义自己的D来做训练，达到欺骗和识别的对抗训练，使得生成在本域的图片y'和实际属于本域的图片y不可被分辨，这样在训练时，可以将原有的GAN结构扩展为cycle的形式（and vice versa）.

Introduction

可能是计算机paper里最富诗情画意的introduction：，随后作者用一定篇幅剖析了人类可以将任何现实中看到的场景映射成莫奈风格的画作，哪怕莫奈从没画过这些场景，那么计算机是否也可以做到这一点呢？这样得以解决现实中成批出现的训练集需要耗费极高的采集、制作、标注成本的难题。接着进一步阐述了为什么要用循环的方式来扩展GAN，因为从A到B域映射出来的图片可能有非常多的可能，并且都满足B域的分布，加入一个反向映射的循环，可以加强转换的约束性，同时还能避免GAN中常见的mode collapse的问题，作者称其为cycle consistent。

Relate Work

作者借鉴的RelatedWork包括： GAN、Image-to-Image Translation、Unpaired Image-to-Image Translation、Neural Style Transfer、Cycle Consistency

Model

模型的Loss方面分为两个部分：

（1）Adversarial Loss：

　　　　对于G:X->Y的映射有

　　　　

　　　　　对于F：Y->X的映射也有类似的一个对抗损失

（2）Cycle Consistency Loss：

最终目标函数：

在后面的实验中，将这几个loss的作用都进行了直观的展示，表明缺一不可。

实现

模型架构基于[3],在风格转换和超分辨率上都表现不错，使用了instance normalization。并且对D，使用了70*70的PatchGANs，判别70*70的像素的真伪，相对于全像素判别的D减少了参数[4,5,6]。

具体实现中，作者使用了更稳定，生成质量更高的最小二乘GAN的Loss来替换原始GAN（least square loss）[2]：

并且为了避免模式震荡（mode oscillation）[1]，作者对Dx和Dy做了一个滞后更新，用之前生成的50张左右图片来训练D而不是实时用G生成的图片来生成

实验结果（略）

不足

CycleGAN对非成对图片集的转换成功主要集中在色彩和贴图转换上，在几何形态上的转换大多以失败告终（猫->狗）。此外，与成对数据集的训练结果相比，依然存在不足。

1.Y. Taigman, A. Polyak, and L. Wolf. Unsupervised cross-domain image generation. arXiv preprint arXiv:1611.02200, 2016

2.Multiclass generative adversarial networks with the l2 loss function.

3.J. Johnson, A. Alahi, and L. Fei-Fei. Perceptual losses for real-time style transfer and super-resolution. In ECCV, pages 694–711. Springer, 2016.

4.P. Isola, J.-Y. Zhu, T. Zhou, and A. A. Efros. Imageto-image translation with conditional adversarial networks. arXiv preprint arXiv:1611.07004, 2016

5. C. Ledig, L. Theis, F. Husz´ar, J. Caballero, A. Cunningham,A. Acosta, A. Aitken, A. Tejani, J. Totz, Z. Wang, et al. Photo-realistic single image superresolution using a generative adversarial network. arXiv preprint arXiv:1609.04802, 2016. 5
6.C. Li and M. Wand. Precomputed real-time texture synthesis with markovian generative adversarial networks. ECCV, 2016. 5