《StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation》论文笔记

---恢复内容开始---

Motivation

使用单组的生成器G和判别训练图片在多个不同的图片域中进行转换

效果确实很逆天，难怪连Good Fellow都亲手给本文点赞

Introduction

论述了Image translating的概念，GAN极大地提升了该领域的生成质量。具体到头像生成任务，作者定义attribute为图片特征（feature），如haircolor，age，gender等；domain被定义为一系列共享了某个属性的图片，如女性图片和男性图片分属不同的domain。该文的训练数据集基于celebA（40 labels related to facial attributes such as hair color, gender, and age）和RaFD（8 labels for facial expressions such as ‘happy’, ‘angry’ and ‘sad’）。图1左边正是展示了由starGAN生成的图片怎样在celebA的各个不同域之间进行转换的例子，右边展示了交叉训练两个数据集，以把RaFD的表情域也应用在celebA的图片上面。

现有的GAN模型为了实现在k个不同的风格域上进行迁移，需要构建$k*(k-1)$个生成器，并且还不能跨数据集训练（标注不能复用）。StarGAN正是为了解决跨多个域、多个数据集的训练而提出的。在StarGAN中，并不使用传统的fixed translation（(e.g., black-to-blond hair），而是将域信息和图片一起输入进行训练，并在域标签中加入mask vector，便于不同的训练集进行联合训练。本文贡献：

提出StarGAN模型，使用单组GAN模型进行跨domain和跨数据集的训练
展示了mask vector技术来实现上述的训练过程
训练了角色的面部属性和面部表情特征的各种图片

Ralated Work

GAN（略）
CGAN（略）
Image2Image translating

pixel2pixel coGAN DiscoGAN CycleGAN

模型描述

1.损失函数

adv损失函数

和普通的GAN没太大区别，对G来说，输入为图片x和标签信息c。

Domain Classification 损失函数

对于真实图片：

对于生成图片：

Recstruntion 损失

使用了cycle损失的概念 ，看来循环训练的概念确实可以高质量的保留原有图片特征！！！！！！！！

综合上述各损失函数，得到StarGAN的总损失函数表达：

2.在多数据集上训练模型

对于不同的数据集来说，每一个数据集只能知道全体标注的一部分。如celebA并不知道RaFD中关于表情的“愤怒” “开心”等标签。但是在计算损失函数时，我们需要知道全部的标签信息，作者使用mask vector来解决这一问题。在StarGAN中构建了一个n-dimensional的one-hot vector m，其中n是数据集的数量（在论文中使用了两个数据集，故n=2），对于未知的数据集标签，统统设置为0向量

训练时，生成器G将忽略掉传入的C向量中的0向量,犹如在训练单数据集一样，而判别器D的auxiliary classifier则生成所有数据集的全部标签概率，但只和已知的真实标签做loss计算。

训练模型采用了Wasserstein GAN

---恢复内容结束---