KMM

目录

• 概
• 主要内容

Huang J., Smola A., Gretton A., Borgwardt K. & Scholkopf B. Correcting Sample Selection Bias by Unlabeled Data. NIPS, 2007.

概

MMD量化了两组数据是否来自同一个分布的可能性, 那么如何利用这份信息来更好地训练, 增加模型的泛化性呢?

主要内容

我们有两组数据\(Z = ((x_1, y_1), (x_2, y_2), \ldots, (x_m, y_m)) \subseteq \mathcal{X} \times \mathcal{Y}\), \(Z' = ((x_1', y_1'), (x_2', y_2'), \ldots, (x_n', y_n')) \subseteq \mathcal{X} \times \mathcal{Y}\), 分别来自分布\(\mathrm{Pr}(x, y)\)和\(\mathrm{Pr}'(x, y)\).

一般来说, 我们训练一个模型(分类也好回归也罢), 可以归结为如下的风险函数

\[R(\mathrm{Pr}, \theta, \ell(x, y, \theta)) = \mathbb{E}_{(x, y) \sim \mathrm{Pr}} [\ell(x, y, \theta)],
\]

但是我们真正想要优化的是\(R(\mathrm{Pr}', \theta, \ell(x, y, \theta))\), 当然一般的做法是假设二者是一致的. 但实际情况可能是二者并不一致, 但是注意到

\[R[\mathrm{Pr}', \theta, \ell(x, y, \theta)] = \mathbb{E}_{(x, y) \in \mathrm{Pr'}} [\ell(x, y, \theta)]=\mathbb{E}_{(x, y) \sim \mathrm{Pr}} [\frac{\mathrm{Pr}'(x, y)}{\mathrm{Pr}(x, y)} \ell(x, y, \theta)],
\]

并记\(\beta(x, y) := \frac{\mathrm{Pr}'(x, y)}{\mathrm{Pr}(x, y)}\)(若成立), 则

\[R[\mathrm{Pr}', \theta, \ell(x, y, \theta)] = R[\mathrm{Pr}, \theta, \beta(x, y)\ell(x, y, \theta)].
\]

这实际上可以理解为对样本的一个重加权, 所以现在的问题便是, 如何估计\(\beta(x, y)\), 本文研究一种特殊的情况:

\[\mathrm{Pr}(x, y) = \mathrm{P}(y|x) \mathrm{Pr}(x) , \quad \mathrm{Pr}'(x, y) = \mathrm{P}(y|x) \mathrm{Pr}'(x),
\]

即 covariate shift, 此时

\[\beta(x, y) = \frac{\mathrm{Pr}(x)}{\mathrm{Pr}'(x)}.
\]

首先, 根据MMD我们知道, 两个分布差异性可以量化为

\[\mathrm{MMD}[\mathcal{F},p,q] := \sup_{f \in \mathcal{F}} (\mathbb{E}_p [f(x)] - \mathbb{E}_q[f(y)]),
\]

当我们限制\(\mathcal{F}\)为 universal RKHS \(\mathcal{H}\)的时候, 上式可表示为

\[\mathrm{MMD}[\mathcal{H}, p, q] = \sup_{\|f\|_{\mathcal{H}} \le 1} \mathbb{E}_p [f(x)] - \mathbb{E}_q [f(x)]
= \sup_{\|f\|_{\mathcal{H}} \le 1} \mathbb{E}_p [\langle \phi_x, f\rangle_{\mathcal{H}}] - \mathbb{E}_q [\langle \phi_x, f\rangle_{\mathcal{H}}] = \|\mu_p-\mu_q\|_{\mathcal{H}}.
\]

在此处, 我们关注(用\(\phi(x)\)表示\(\phi_x\))

\[\|\mu(\mathrm{Pr}') - \mathbb{E}_{x \sim \mathrm{Pr}(x)} [\beta(x) \phi(x)]\|,
\]

即我们希望找到一个权重\(\beta(x)\)使得上式最小, 由于分布的一些特殊性质, 完整的问题表述如下:

\[\min_{\beta} \quad \|\mu(\mathrm{Pr}') - \mathbb{E}_{x \sim \mathrm{Pr}(x)} [\beta(x) \phi(x)]\| \\
\mathrm{s.t.}\quad \beta(x) \ge 0, \mathbb{E}_{x \sim \mathrm{Pr}(x)}[\beta(x)] = 1.
\]

在实际问题中, 我们只有分布中的有限的采样, 也就是开头的\(Z, Z'\), 上述问题变为

\[\|\frac{1}{m} \sum_{i=1}^m \beta_i \phi(x_i)- \frac{1}{n} \sum_{i=1}^n \phi(x_i')\|^2 = \frac{1}{m^2}\beta^T K \beta - \frac{2}{mn}\kappa^T \beta + \mathrm{const},
\]

其中\(\kappa_i := \sum_{j=1}^{n} k(x_i, x_j')\). 于是, 我们优化如下的问题

\[\min_{\beta} \quad \frac{1}{2} \beta^T K \beta - \frac{m}{n}\kappa^T\beta \\
\mathrm{s.t.} \quad \beta_i \in [0, B], |\sum_{i=1}^m \beta_i - m| \le m\epsilon.
\]

限制条件的前者限制了差异的大小, 后者则是希望其迫近概率分布.