目录

RKHS-wiki

这里对RKHS做一个简单的整理, 之前的理解错得有点离谱了.

主要内容

首先要说明的是, RKHS也是指一种Hilbert空间, 只是其有特殊的性质.

Hilbert空间\(\mathcal{H}\), 其中的每个元素\(f: \mathcal{X} \rightarrow \mathbb{K}\), 并由内积\(\langle \cdot, \cdot, \rangle_{\mathcal{H}}\)建立联系. 我们考虑如下的线性算子:

\[\delta_x(f) = f(x).
\]

进一步假设\(\delta_x\)是有界线性算子, 则根据Riesz表示定理可知, 存在唯一的\(\phi_x \in \mathcal{H}\),

\[f(x) = \delta_x(f) = \langle f, \phi_x \rangle_{\mathcal{H}},
\]

此时

\[\delta_x (\phi_y) = \langle \phi_y, \phi_x \rangle_{\mathcal{H}}.
\]

RKHS指的就是每一个\(\delta_x, \forall x \in \mathcal{X}\)均为有界线性算子, 换言之,

\[|f(x) - g(x)| = |\delta_x(f) - \delta_x (g)| \le M_x \|f - g\|_{\mathcal{H}}, \quad \forall x \in \mathcal{X}.
\]

一般的, RKHS总会和某些特定的kernel \(K\)联系在一起, 实际上, 对于上述情况:

\[K(x, y) := \langle \phi_x, \phi_y \rangle.
\]

在什么情况下可以通过\(K\)确定一个Hilbert 空间?

Moore-Aronszajn 定理: 当\(K\)对称正定, 则存在唯一的Hilbert空间, 其reproducing kernel是\(K\).

proof:

首先通过K构造线性空间\(\mathrm{span}(\{K(\cdot, x): x \in \mathcal{X}\})\), 再赋予内积

\[\langle K_x, K_y \rangle_{\mathcal{H}} = K(x, y).
\]

其中, 内积的可交换性由K的对称性带来, 内积\((x, x)=0\)当且仅当\(x=0\)由正定性带来.

再令上述内积空间的闭包为

\[\mathcal{H},
\]

即包括

\[f = \sum_i a_i K_{x_i}.
\]

显然

\[f(x) = \sum_i a_i K(x, x_i) = \langle f, K_x \rangle_{\mathcal{H}}.
\]

\[|f(x)-g(x)| = |\langle f-g, K_x \rangle_{\mathcal{H}}| \le \|K_x\|_{\mathcal{H}} \|f-g\|_{\mathcal{H}}.
\]

故\(\mathcal{H}\)是RKHS且其reproducing kernel即为\(K\).

倘若还存在别的Hilbert空间\(\mathcal{G}\), 那么显然\(\mathcal{H} \subset \mathcal{G}\), 只需证明反包含即可. 对于任意的\(g \in \mathcal{G}\), 可分解为

\[g = g_{\mathcal{H}} + g_{\mathcal{H}^{\bot}},
\]
\[g(x) = \langle g, K_x \rangle_{\mathcal{G}} = \langle g_{\mathcal{H}}, K_x \rangle_{\mathcal{G}} + \langle g_{\mathcal{H}^{\bot}}, K_x \rangle_{\mathcal{G}} = \langle g_{\mathcal{H}}, K_x \rangle_{\mathcal{H}} = g_{\mathcal{H}}(x).
\]

故\(g\in \mathcal{H}\).

Reproducing Kernel Hilbert Space (RKHS)的更多相关文章

  1. The space of such functions is known as a reproducing kernel Hilbert space.

    Reproducing kernel Hilbert space Mapping the points to a higher dimensional feature space http://www ...

  2. paper 10:支持向量机系列七:Kernel II —— 核方法的一些理论补充,关于 Reproducing Kernel Hilbert Space 和 Representer Theorem 的简介。

    在之前我们介绍了如何用 Kernel 方法来将线性 SVM 进行推广以使其能够处理非线性的情况,那里用到的方法就是通过一个非线性映射 ϕ(⋅) 将原始数据进行映射,使得原来的非线性问题在映射之后的空间 ...

  3. Hilbert space

    Definition A Hilbert space H is a real or complex inner product space that is also a complete metric ...

  4. Cauchy sequence Hilbert space 希尔波特空间的柯西序列

    http://mathworld.wolfram.com/HilbertSpace.html A Hilbert space is a vector space  with an inner prod ...

  5. 希尔伯特空间(Hilbert Space)是什么?

    希尔伯特空间是老希在解决无穷维线性方程组时提出的概念, 原来的线性代数理论都是基于有限维欧几里得空间的, 无法适用, 这迫使老希去思考无穷维欧几里得空间, 也就是无穷序列空间的性质. 大家知道, 在一 ...

  6. 希尔伯特空间(Hilbert Space)

    欧氏空间 → 线性空间 + 内积 ⇒ 内积空间(元素的长度,元素的夹角和正交) 内积空间 + 完备性 ⇒ 希尔伯特空间 0. 欧几里得空间 欧氏空间是一个特别的度量空间,它使得我们能够对其的拓扑性质, ...

  7. Kernel Methods (6) The Representer Theorem

    The Representer Theorem, 表示定理. 给定: 非空样本空间: \(\chi\) \(m\)个样本:\(\{(x_1, y_1), \dots, (x_m, y_m)\}, x_ ...

  8. Deep Learning and Shallow Learning

    Deep Learning and Shallow Learning 由于 Deep Learning 现在如火如荼的势头,在各种领域逐渐占据 state-of-the-art 的地位,上个学期在一门 ...

  9. 【论文笔记】Domain Adaptation via Transfer Component Analysis

    论文题目:<Domain Adaptation via Transfer Component Analysis> 论文作者:Sinno Jialin Pan, Ivor W. Tsang, ...

随机推荐

  1. adjust, administer

    adjust to just, exact. In measurement technology and metrology [度量衡学], calibration [校准] is the compa ...

  2. 零基础学习java------day10------带包编译,权限修饰符,内部类,调式,junitTest

    0.  带包编译 解决使用notepad++编写的java类中如果有package的解决方案,如下代码 package com._51doit.test; class HelloWorld{ publ ...

  3. 【STM32】基于正点原子『探索者』开发板的烧录

    项目需要一个功能,开发板范例正好有,就买了一块,不过还是有点贵 我手边没有J-Link 用的都是串口烧录 烧录时,先打开右上的开关 如果是仿真器烧录,它无法供电,需要接12V适配器或是杜邦线供电 然后 ...

  4. Oracle trunc和round的区别

    1.关于trunc 和round函数比较 整体概括: round函数 四舍五入trunc函数 直接截取 对于时间: Round函数对日期进行"四舍五入",Trunc函数对日期进行截 ...

  5. redis入门到精通系列(二):redis操作的两个实践案例

    在前面一篇博客中我们已经学完了redis的五种数据类型操作,回顾一下,五种操作类型分别为:字符串类型(string).列表类型(list).散列类型(hash).集合类型(set).有序集合类型(so ...

  6. 锁对象-条件对象-synchronized关键字

    1 import java.util.concurrent.locks.Condition; 2 import java.util.concurrent.locks.Lock; 3 import ja ...

  7. mysql之join浅析

    1.可以使用join吗?使用join有什么问题呢?-- >超过3个表不使用join,笛卡尔积问题 -->这些问题是怎么造成的呢? 如果可以使用 Index Nested-Loop Join ...

  8. OpenStack之一:初始化环境

    初始化环境必须在左右节点执行 #:注意node节点要使用7.2 #: 关闭NetworkManager [root@localhost ~]# systemctl stop NetworkManage ...

  9. Redis | 第12章 Sentinel 哨兵模式《Redis设计与实现》

    目录 前言 1. 启动并初始化 Sentinel 2. Sentinel 与服务器间的默认通信 2.1 获取主服务器信息 2.2 获取从服务器信息 2.3 向主服务器和从服务器发送信息 3. 接受来自 ...

  10. 代码图形统计工具git_stats web

    目录 一.简介 二.安装ruby 三.配置git_stats 四.通过nginx把网页展示出来 一.简介 仓库代码统计工具之一,可以按git提交人.提交次数.修改文件数.代码行数.注释量在时间维度上进 ...