EBGAN

目录

• 概
• 主要内容

Zhao J., Mathieu M. & LeCun Y. Energy-based generative adversarial networks. ICLR, 2017.

概

基于能量的一个解释.

主要内容

本文采用了与GAN不同的损失, 判别器\(D\)和生成器\(G\)分别最小化下面的损失:

\[\mathcal{L}_D (x, z) = D(x) + [m-D(G(z))]^+ \\
\mathcal{L}_G(z) = D(G(z))
\]

需要注意的是, 这里的判别器\(D\)的输出已经不是普通GAN中判别器的真假概率了, 而是能量, 能量越低，即\(D(x)\)越小, 越真.

用\(V(G, D)= \int_{x, z} \mathcal{L}_D(x, z) p_{data}(x) p_g(z) \mathrm{d}x\mathrm{d}z\), 用\(U(G,D) = \int_{z} \mathcal{L}_G(z) p_g(z)\mathrm{d}z\), 考虑如下纳什均衡

\[V(G^*, D^*) \le V(G^*, D), \quad \forall D \\
U(G^*, D^*) \le U(G, D^*), \quad \forall G.
\]

第一个需要考虑的问题是, 这样的纳什均衡解会有什么好的性质呢?

定理1: \((G^*, D^*)\)为纳什均衡解, 则\(p_{G^*}=p_{data}, \: a.e.\), \(V(G^*, D^*)=m\).

proof:

\[V(G, D) = \int_{x} D(x) p_{data} (x)\mathrm{d}x + \int_z [m-D(G(z))]^+ p_G(z) \mathrm{d}z = \int_{x} D(x) p_{data} (x)\mathrm{d}x + \int_x [m-D(x)]^+ p_G(x) \mathrm{d}x.
\]

故需要考虑

\[\min \quad D(x) p_{data}(x) + [m-D(x)]^+ p_{G^*}(x),
\]

可得

\[D(x) = \left \{
\begin{array}{ll}
m, & p_{data} < p_{G^*} \\
0, & p_{data} > p_{G^*} \\
[0, m], & else.
\end{array} \right.
\]

所以

\[\begin{array}{ll}
V(G^*, D^*) & = \int_{p_{data} < p_{G^*}} m p_{data}(x) \mathrm{d}x + \int_{p_{data} > p_{G^*}} mp_{G^*}(x)\mathrm{d}x + \int_{p_{data}=p_{G^*}} G^*(x) p_{data}(x) \mathrm{d}x \\
& \le m + m \int_{p_{data} < p_{G^*}} m [p_{data}(x) - p_{G^*}(x)] \mathrm{d}x \le m.
\end{array}
\]

另一方面,

\[U(G,D^*) = \int_x D^*(x) p_{G}(x) \mathrm{d} x \ge \int_{x} D^* (x) p_{G^*}(x) \mathrm{d}x
\]

所以

\[V(G^*, D^*) \ge \int_x (D^*(x) + [m-D^*(x)]^+)p_{G^*}(x) \mathrm{d}x \ge m.
\]

所以\(V(G^*, D^*)=m\), 且\(p_{G^*}=p_{data}, \: a.e.\)

下一个问题是, 这个纳什均衡存在吗, 文中的定理二给出了这个答案, 不过需要一个额外的条件, 这里不多赘述.

文中最后采用的是下面的框架:

即能量函数\(D\)的选择为

\[D(x) = \|Dec(Enc(x)) - x\|.
\]