Generative Adversarial Nets

1. 基本思想

两个模型：

判别器：预测从生成器生成的样本的概率

生成器：生成样本时，最大化使得判别器发生错误的概率

最后得到唯一解：使得生成器生成的样本输入到判别器中，得到的概率全是1/2.     // 伪装者无法被检查出来

判别器和生成器都是多层的，都可以通过反向传播的方式进行训练。

在训练期间和生成样本期间都不需要马尔科夫链、展开近似推理网络。

背景：

反向传播 / Dropout算法 / 分段线性单元    参考文献17/8/9看一下

由于在最大似然估计和相关策略中出现的许多难以处理的概率计算难以近似，以及由于难以在生成上下文中利用分段线性单元的优点，深度生成模型的影响较小。提出了一种新的生成模型估计方法来克服这些困难。

该框架可以生成针对多种模型的特定训练算法和优化算法。

本文中的生成模型通过一个多层感知器传递随机噪声生成样本的特殊情况，判别模型也是一个多层感知器。

可以只使用非常成功的反向传播和dropout算法来训练两个模型，并只使用正向传播从生成模型中提取样本。不需要近似推理或马尔可夫链。

相关工作

对抗网络

学习数据x的分布pg，在输入噪声变量pz(z)上定义一个先验，然后表示到数据空间的映射为G (z;θg), G是一个可微函数表示为一个带有参数θg的多层感知器。

还定义了第二个多层感知器D(x;θd)输出一个标量。D(x)表示x来自数据而不是pg的概率。我们训练D，使其最大限度地表示G的训练示例和样本分配正确标签的概率。我们同时训练G，使log(1 D(G(z))最小化。换句话说，D和G用值函数V (G;D)

不想写了。