pix2pix&Cycle GAN&pix2pix HD

这里简短地谈一下如题的三篇论文：

参考：https://blog.csdn.net/gdymind/article/details/82696481

（1）pix2pix:从一张图片生成另一张图片

pipeline如下，其中generator为U-net；

（2）Cycle GAN：pix2pix需要成对图片训练，CycleGAN解决了这个问题，可以不成对，但要同类！

pipeline如下：

（3）pix2pix HD

参考：https://www.jianshu.com/p/eb29a264c71a

pipeline如下,

上图的Image generator network G具体结构如下：

总的流程：输入原始低分辨率RGB图像，一方面先获得它的Labels（semantic labels语义标签 + 对应的Boundary label），另一方面输入经过一个Encoder得到特征图后根据Labels做average pooling获得instance-wise feature map，然后两者一起输入进G中进行生成，生成器由两部分组成，G1和G2，其中G2又被割裂成两个部分。G1和pix2pix的生成器没有差别，就是一个end2end的U-Net结构。G2的左半部分提取特征，并和G1的输出层的前一层特征进行相加融合信息，把融合后的信息送入G2的后半部分输出高分辨率图像。判别器使用多尺度判别器，在三个不同的尺度上进行判别并对结果取平均。判别的三个尺度为：原图，原图的1/2降采样，原图的1/4降采样。显然，越粗糙的尺度感受野越大，越关注全局一致性。

(Labels)