Reproducing Kernel Hilbert Space (RKHS)

目录

• 概
• 主要内容

RKHS-wiki

概

这里对RKHS做一个简单的整理, 之前的理解错得有点离谱了.

主要内容

首先要说明的是, RKHS也是指一种Hilbert空间, 只是其有特殊的性质.

Hilbert空间\(\mathcal{H}\), 其中的每个元素\(f: \mathcal{X} \rightarrow \mathbb{K}\), 并由内积\(\langle \cdot, \cdot, \rangle_{\mathcal{H}}\)建立联系. 我们考虑如下的线性算子:

\[\delta_x(f) = f(x).
\]

进一步假设\(\delta_x\)是有界线性算子, 则根据Riesz表示定理可知, 存在唯一的\(\phi_x \in \mathcal{H}\),

\[f(x) = \delta_x(f) = \langle f, \phi_x \rangle_{\mathcal{H}},
\]

此时

\[\delta_x (\phi_y) = \langle \phi_y, \phi_x \rangle_{\mathcal{H}}.
\]

RKHS指的就是每一个\(\delta_x, \forall x \in \mathcal{X}\)均为有界线性算子, 换言之,

\[|f(x) - g(x)| = |\delta_x(f) - \delta_x (g)| \le M_x \|f - g\|_{\mathcal{H}}, \quad \forall x \in \mathcal{X}.
\]

一般的, RKHS总会和某些特定的kernel \(K\)联系在一起, 实际上, 对于上述情况:

\[K(x, y) := \langle \phi_x, \phi_y \rangle.
\]

在什么情况下可以通过\(K\)确定一个Hilbert 空间?

Moore-Aronszajn 定理: 当\(K\)对称正定, 则存在唯一的Hilbert空间, 其reproducing kernel是\(K\).

proof:

首先通过K构造线性空间\(\mathrm{span}(\{K(\cdot, x): x \in \mathcal{X}\})\), 再赋予内积

\[\langle K_x, K_y \rangle_{\mathcal{H}} = K(x, y).
\]

其中, 内积的可交换性由K的对称性带来, 内积\((x, x)=0\)当且仅当\(x=0\)由正定性带来.

再令上述内积空间的闭包为

\[\mathcal{H},
\]

即包括

\[f = \sum_i a_i K_{x_i}.
\]

显然

\[f(x) = \sum_i a_i K(x, x_i) = \langle f, K_x \rangle_{\mathcal{H}}.
\]

故

\[|f(x)-g(x)| = |\langle f-g, K_x \rangle_{\mathcal{H}}| \le \|K_x\|_{\mathcal{H}} \|f-g\|_{\mathcal{H}}.
\]

故\(\mathcal{H}\)是RKHS且其reproducing kernel即为\(K\).

倘若还存在别的Hilbert空间\(\mathcal{G}\), 那么显然\(\mathcal{H} \subset \mathcal{G}\), 只需证明反包含即可. 对于任意的\(g \in \mathcal{G}\), 可分解为

\[g = g_{\mathcal{H}} + g_{\mathcal{H}^{\bot}},
\]

\[g(x) = \langle g, K_x \rangle_{\mathcal{G}} = \langle g_{\mathcal{H}}, K_x \rangle_{\mathcal{G}} + \langle g_{\mathcal{H}^{\bot}}, K_x \rangle_{\mathcal{G}} = \langle g_{\mathcal{H}}, K_x \rangle_{\mathcal{H}} = g_{\mathcal{H}}(x).
\]

故\(g\in \mathcal{H}\).