【论文笔记】Self-Supervised GAN ：辅助性旋转损失的自监督生成式对抗网络

这是CVPR2019上UCLA和google brain的一个工作。模型非常简单，利用辅助损失解决GAN不稳定问题；用旋转分类将辅助分类器对label的需求去掉，使图片可以直接对自己标注类别。

Self-Supervised GANs via Auxiliary Rotation Loss

论文地址：https://arxiv.org/abs/1811.11212

GITHUB代码：https://github.com/vandit15/Self-Supervised-Gans-Pytorch

论文指出，GAN模型的重要问题是不稳定（instability, divergence, cyclic behavior, or model collapse）。判别器通常学习了一个分布的特征，但后来的样本往往是不符合这个分布的，如果放任不管会造成模型欠拟合。为了提高模型的稳定性，研究人员又提出了CGAN，生成器和判别器通过使用有标签的数据来记住之前的数据分布。但是，CGAN的主要不足在于该模型依赖于标注好的数据。即使存在标注好的数据，这些数据往往也是sparse，并且仅仅只包含了一小部分高层抽象信息。

作者举了两个例子来说明当前模型的问题（判别器的遗忘问题），在下图中，蓝色虚线是当前的GAN，由于对模型分布记忆出现混乱，导致准确率下降。

在下图中，左侧表示GAN在每1K数据后换一次数据分布。可以看到数据分布换了以后，原始的GAN会存在较大的误差，几乎又回到了原始未学习的状态。

于是，作者提出了self-supervised GAN (SS-GAN)，通过加入自监督能够有效的避免遗忘带来的不稳定。作者受到《Unsupervised Representation Learning by Predicting Image Rotations》这篇文章的启发，该方法使用的是基于图像旋转的自监督方法。该方法将几何变换定义为0，90，180，270度的图像旋转，为了让一个卷积网络能够识别图像中的旋转变换，需要理解图像中描述的对象概念。尽管这个自监督方法非常简单，但是为特征学习提供了一个强大的替代监督信号。

SS-GAN的整体架构如下图所示，具体实现：

1. 第一个判别器按照以前的方法，输出 true/false 的判断结果；
2. 第二个判别器倒数第二层输出，作为特征，加上线性分类器，预测旋转的类型。

作者指出，SS-GAN将对抗训练与自监督学习相结合，实现了CGAN的优势，而不需要任何标注数据。SS-GAN实现了大规模无条件 ImageNet 图像生成，这项目工作是向着高质量、无监督的自然图像合成方向迈出的重要一步。