CycleGAN --- Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

文章地址：http://openaccess.thecvf.com/content_ICCV_2017/papers/Zhu_Unpaired_Image-To-Image_Translation_ICCV_2017_paper.pdf

代码地址：https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix

原理：

　　CycleGAN这篇文章的亮点是提出了无需使用成对样本来训练模型的新思路。像pix2pix这类方法则需要成对的数据来训练。

　　由于在实际应用中，我们很难获取到成对的样本集，这篇文章的思想就是将一类样本转换为另一类样本。给定两个样本空间X，Y，我们希望把X空间中的

样本转换为Y空间中的样本，即寻找从源域(X)到目标域(Y)的映射关系G：X->Y，并且要使得数据G(X)的分布与Y的分布不可区分。同时反向映射关系也需要满足，

即F：Y->X，通过引入一个循环一致性损失来使得F(G(X))≈X。

　　其中，G对应了GAN网络的生成器部分，用于将X中的图像转换为Y中的图像，我们可得到生成的图像为G(X)。此时还需要判别器网络来对生成的图像和真实

的图像进行判别。这个判别器用D_Y表示。对于这部分网络，存在一个对抗损失。

其中生成器G试着生成接近目标分布Y的图像G(X)，判别器旨在区分转换样本和真实样本，由此构成了一个博弈过程。对于反向映射F：Y->X，同样存在这样的

GAN损失。

　　理论上说，对抗训练可以学习和产生与目标域Y相似分布的输出，但如果仅使用对抗损失来训练无法得到比较好的结果。原因在于，在足够大的样本容量下，

网络可以将相同的输入图像集合映射到目标域中图像的任意排列组合。也就是说学习到的可以只是输出的一个子分布，这样就可能会导致输入X通过映射函数得

到Y空间中的特定图像的分布。

意思就是单独的对抗损失无法保证学习函数可以将单个输入Xi映射到期望的输出Yi。由此，作者便提出了“循环一致性损失(Cycle consistency loss)”

即前向循环一致性和反向循环一致性。

简单来说，思想就是把一个东西经过变换后，通过一个反变换还能回到原来的样子(突然想到了傅里叶变换和反傅里叶变换)。

总的目标函数为：

实现

• 网络结构：

　　生成器部分使用的是李飞飞团队提出的感知损失用来做风格转换的网络结构。

　　判别器采用的70x70的Patch-GANs

• 训练细节：

　　运用了两个技巧来稳定网络模型的训练过程

　　1. 使用最小二乘损失来代替对数损失

　　

　　2. 更新判别其D_X和D_Y，使用之前生成的图像而不是最新生成的图像。保存了50个的缓存数据。

• 参数设置：

　　λ的值设置为10.使用Adam优化求解，batch size为1.前100个epoch学习率设置为0.0002，后100个epoch学习率线性递减直至0.

实验结果：