GAN (Generative Adversarial Network)

https://www.bilibili.com/video/av9770302/?p=15

前面说了auto-encoder，VAE可以用于生成

VAE的问题，

AE的训练是让输入输出尽可能的接近，所以生成出来图片只是在模仿训练集，而无法生成他完全没有见过的，或新的图片

由于VAE并没有真正的理解和学习如何生成新的图片，所以对于下面的例子，他无法区分两个case的好坏，因为从lost上看都是比7多了一个pixel

所以产生GAN，

大家都知道GAN是对抗网络，是generator和discriminator的对抗，对抗是有一个逐渐进化的过程

而generator不会看到训练集，训练集只用来训练discriminator，所以generator是试图去生成新的图片，而不是单纯的模仿训练集

过程是，

我们通过V1的generator的输出和real images来训练V1的discriminator，让V1的discriminator可以判别出两者的差别

然后，将V1的generator和V1的discriminator作为整体network训练（这里需要固定discriminator的参数），目标就是让generator产生的图片可以骗过V1的discriminator

这样就产生出V2的generator，重复上面的过程，让generator和discriminator分别逐渐进化

训练Discriminator的详细过程，

训练generator的详细过程，

可以看到 generator会调整参数，产生image让discriminator判别为1，即骗过discriminator

并且在网络训练的时候，虽然是把generator和discriminator合一起训练，但是要fix住discriminator的参数，不然discriminator只需要简单的迎合generator就可以达到目标，起不到对抗的效果

下面从理论上来看下GAN，

GAN的目的是生成和目标分布(训练集所代表的分布)所接近的分布

Pdata就是训练数据所代表的分布

PG是我们要生成的分布

所以我们的目标就是让PG和Pdata尽可能的close

从Pdata中sample任意m个点，然后用这些点去计算PG，用最大似然估计，算likelihood

让这些点在PG中的概率和尽可能的大，就会让PG分布接近Pdata

这里的推导出，上面给出的最大似然估计，等价于求Pdata和PG的KL散度，这个是make sense的，KL散度本身就用来衡量两个分布的相似度

这里PG可以是任意函数，比如，你可以用高斯混合模型来生成PG，那么theta就是高斯混合中每个高斯的参数和weight

那么这里给定参数和一组sample x，我们就可以用混合高斯的公式算出PG，根据上面的推导，也就得到了两个分布的KL散度

当然高斯混合模型不够强大，很难很好的去拟合Pdata

所以这里是用GAN的第一个优势，我们可以用nn去拟合PG

这个图就是GAN的generator，z符合高斯分布，z是什么分布不关键也可以是其他分布

通过Gz函数，得到x，z可以从高斯分布中sample出很多点，所以计算得到很多x，x的分布就是PG；只要nn足够复杂，虽然z的分布式高斯，但x可以是任意分布

这里和传统方法，比如高斯混合的不同是，这个likelihood，即PG不好算，因为这里G是个nn，所以我们没有办法直接计算得到两个分布的KL散度

所以GAN需要discriminator，它也是一个nn，用discriminator来间接的计算PG和Pdata的相似性，从而替代KL散度的计算

GAN可以分成Generator G和Discriminator D，其中D是用来衡量PG和Pdata的相似性

最终优化目标的公式，看着很唬人，又是min，又是max

其实分成两个步骤，

给定G，优化D，使得maxV（红线部分），就是训练discriminator，计算出两个分布之间的差异值；在上图中就是在每个小图里找到那个红点

给定D，优化G，使得min(maxV)，就是在训练generator，最小化两个分布之间的差异；就是在上图中挑选出G3

这里有个问题没有讲清楚的是，

为何给定G，优化D，使得maxV，得到的V可以代表两个分布的差异？

如果这个问题明白了，下一步优化G，去最小化这个分布间的差异是很好理解的

做些简单的转换，如果我们要最后一步这个积分最大，那么等价于对于每个x，积分的内容都最大

这里是给定G，x，Pdata(x)，PG(x)都是常量，所以转换成D的一个简单函数

求最大值，就极值，就是求导找到极点

这里推导出当V max的时候， D的定义，并且D的值域应该在0到1之间

上面推导出如果要Vmax，D要满足

所以进一步将D带入V的公式，这里经过一系列推导得到，V就等价于jensen-shannon divergence

jensen-shannon divergence的定义，如下，

比KL divergence好的是，KL是非对称的，而jensen-shannon divergence是对称的，可以更好的反应两个分布间的差异

那么这里的推导就证明，给定G，优化D让V最大的时候，V就表示Pdata和PG的jensen-shannon divergence，所以这个Vmax就可以表示这个两个分布的差异，也就回答了前面的问题

总结一下，

GAN，有两部分Generator G，Discriminator D

我们的目的是找到一个G，可以生成出足够好的x，即满足minmaxV(G,D)，其中V的定义在蓝框中

GAN分两步，先给定G，去MaxD，然后再通过找到最优的G以满足，Pg(x) = Pdata(x)

MaxV，给定G，找到最大D，所以可以看成G的函数，设为L(G)
那么这样找到最优G，就是对L(G)进行梯度下降

这里的问题是L(G)中有一个Max，如何梯度下降？
下面给出一个例子，给定x先找出max的D，再对D做梯度下降

所以算法的步骤，

给定G0，max V得到D0，这里V(G0,D0)就Pdata和PG的JS divergence

然后固定D0，对V进行梯度下降，尽量降低JS divergence，得到G1，。。。。。。

但这里会有一个问题，

从G0梯度下降到G1，如果step太大，会导致图中的情况，在G1，D1会和D0差的比较远，这样有可能V(G,D)反而变大了

但是我们只要控制住G的变化程度，这个问题就可以避免

在实际实现的时候，对于V，我们是无法算出Pdata，PG的期望的

所以只能sample，对Pdata，PG中进行m个sample

所以对于给定G，我们要算使得V max的D，这就是在训练discriminator

把m个sample的数据带入V的公式，期望E就变成求平均

这个式子就等同于binary classifer，这个很直觉，本身discriminator就是在训练一个二元分类，来判断是否是生成数据

完整的过程如上，分为两部分，

Learning D，需要固定G，去maximize V，所以这里用的梯度上升，这个步骤可以做多次，以尽量找到max

Learning G，固定D，去minimize V，用梯度下降，这个步骤只做一次，上面说了如果G变化太大，会导致JS divergence变大而不是变小；用红线划掉部分，因为和G无关，所以梯度下降时可以去掉

实现上，learning G的时候，我们往往不会对上面那个式子做梯度下降，因为你可以看图，D(X)比较小的时候（开始训练时，D会很小），这个曲线的梯度是很小的，很难训练

所以会用下面的式子替代，这样，在开始训练时候梯度会比较大，训练较快

在训练GAN的时候，往往会出现discriminator过强，导致无法训练的问题，

比如上面的例子，强弱两种generator，但是在discriminator看来，没有区别，它都可以很轻松的判别出他们是false的，这样就会无法训练，因为没有梯度

为何discriminator很容易判断出Pdata和PG是完全没有交集？

两个原因，首先因为我们只是对分布做了sample，所以虽然两个分布有交集，但是我们sample的数据有可能很容易被过拟合绕开

再者，data是高维空间的manifold，所以重叠的部分可能非常的小，导致discriminator认为没有重叠

所以问题就在于，你无法从PG0直接跳到PG100，需要逐渐演化，而过强的discriminator会导致在100之前，JS divergence一直是log2，这样就完全没有梯度

这个比较简单的解决方法就是给discriminator加noise，效果如图，会让分布的overlap更加明显

但这个noises需要随着时间递减，因为随着generator变强，noise会干扰正常的训练

Conditional GAN

Conditional GAN的不同就是，需要给一个条件输入，比如这里的text，train
这里用GAN和其他简单的模型的差异是，GAN还有一个输入是z，在是一个prior distribution的sample，所以一个条件train对应的不是一个输出，而是一个分布
这里对于train可能有很多种picture，所以更为合理，普通的nn一个输入只对应一个输出

同样对于discriminator，也要同时输入condition和x，来进行判别