【Paper Reading】Improved Textured Networks: Maximizing quality and diversity in Feed-Forward Stylization and Texture Synthesis

Improved Textured Networks: Maximizing quality and diversity in Feed-Forward Stylization and Texture Synthesis

https://arxiv.org/abs/1701.02096v1

本文最主要的贡献有两点: 1. 引入instance normalization 代替 batch normalization 2. 通过使得生产器从Julesz ensemble无偏采样来增加texture 的多样性.

一、背景知识

texture synthesis中generator目标是:

将 I.I.d. noise  vector $z~N(0,I) 映射成 图像x, x = g(z)$, 记 生成图像x分布为$q(x)$, 真实目标texture 的分布为p(x); 那么生成器的目标应该是使得q(x)无限逼近p(x).

这里有一个问题：在训练generator的过程中我们的目标函数:p(x)没有一个具体的形式. 

二、uniformly sample the Julesz ensemble:

1. Julesz 的发现: 

视觉系统通过不同 image filters 的 average response 来区分不同的texture.

2. 什么是Julesz ensemble?

定义:

设$x$为image, $ x: \Omega \rightarrow R^3 $, \Omega = {1,...,H} x {1,...W} $.

设$ F_l $为滤波器, $F_l: \chi x \Omega \rightarrow  R, l = 1,...,L, F_l(x,u)表示F_l在图像x,u$处的响应.

Loss function定义为: $L(x) = \sum_{l=1}^{L}(\mu_l(x) - \hat{\mu}_l)^2$.

对于图像x. Julesz ensemble是满足 $\tau_{\epsilon} = \left\{ x \in \chi: L(x) \leq \epsilon \right\}$的x的集合.

Julesz ensemble 的分布为: $p(x) = \frac{e^{-L(x)/T}}{\int e^{-L(y)/T}dy} $.

这使得$p(x)$具有具体的分布形式.

3. KL散度(Kullback-Leibler divergence):用来衡量两个概率分布之间的偏离度记作:$D_{KL}(P||Q)$在实际应用中P常代表数据真实分布，Q代表理论模型对P分布的近似. 可以通过最小化KL散度来使得Q逼近P.

对于连续变量:

$$D_{KL}(P||Q) = \int_{-\infty}^{\infty} p(x) log \frac{p(x)}{q(x)} dx$$

对于离散变量

$$D_{KL}(P||Q) = \sum_i p(i) log \frac{P(i)}{Q(i)} .$$

三、instance normalization/constract normalization

batch normalization: 全局

instance normaliztion: 局部