Reproducing Kernel Hilbert Space (RKHS)
概
这里对RKHS做一个简单的整理, 之前的理解错得有点离谱了.
主要内容
首先要说明的是, RKHS也是指一种Hilbert空间, 只是其有特殊的性质.
Hilbert空间\(\mathcal{H}\), 其中的每个元素\(f: \mathcal{X} \rightarrow \mathbb{K}\), 并由内积\(\langle \cdot, \cdot, \rangle_{\mathcal{H}}\)建立联系. 我们考虑如下的线性算子:
\]
进一步假设\(\delta_x\)是有界线性算子, 则根据Riesz表示定理可知, 存在唯一的\(\phi_x \in \mathcal{H}\),
\]
此时
\]
RKHS指的就是每一个\(\delta_x, \forall x \in \mathcal{X}\)均为有界线性算子, 换言之,
\]
一般的, RKHS总会和某些特定的kernel \(K\)联系在一起, 实际上, 对于上述情况:
\]
在什么情况下可以通过\(K\)确定一个Hilbert 空间?
Moore-Aronszajn 定理: 当\(K\)对称正定, 则存在唯一的Hilbert空间, 其reproducing kernel是\(K\).
proof:
首先通过K构造线性空间\(\mathrm{span}(\{K(\cdot, x): x \in \mathcal{X}\})\), 再赋予内积
\]
其中, 内积的可交换性由K的对称性带来, 内积\((x, x)=0\)当且仅当\(x=0\)由正定性带来.
再令上述内积空间的闭包为
\]
即包括
\]
显然
\]
故
\]
故\(\mathcal{H}\)是RKHS且其reproducing kernel即为\(K\).
倘若还存在别的Hilbert空间\(\mathcal{G}\), 那么显然\(\mathcal{H} \subset \mathcal{G}\), 只需证明反包含即可. 对于任意的\(g \in \mathcal{G}\), 可分解为
\]
\]
故\(g\in \mathcal{H}\).
Reproducing Kernel Hilbert Space (RKHS)的更多相关文章
- The space of such functions is known as a reproducing kernel Hilbert space.
Reproducing kernel Hilbert space Mapping the points to a higher dimensional feature space http://www ...
- paper 10:支持向量机系列七:Kernel II —— 核方法的一些理论补充,关于 Reproducing Kernel Hilbert Space 和 Representer Theorem 的简介。
在之前我们介绍了如何用 Kernel 方法来将线性 SVM 进行推广以使其能够处理非线性的情况,那里用到的方法就是通过一个非线性映射 ϕ(⋅) 将原始数据进行映射,使得原来的非线性问题在映射之后的空间 ...
- Hilbert space
Definition A Hilbert space H is a real or complex inner product space that is also a complete metric ...
- Cauchy sequence Hilbert space 希尔波特空间的柯西序列
http://mathworld.wolfram.com/HilbertSpace.html A Hilbert space is a vector space with an inner prod ...
- 希尔伯特空间(Hilbert Space)是什么?
希尔伯特空间是老希在解决无穷维线性方程组时提出的概念, 原来的线性代数理论都是基于有限维欧几里得空间的, 无法适用, 这迫使老希去思考无穷维欧几里得空间, 也就是无穷序列空间的性质. 大家知道, 在一 ...
- 希尔伯特空间(Hilbert Space)
欧氏空间 → 线性空间 + 内积 ⇒ 内积空间(元素的长度,元素的夹角和正交) 内积空间 + 完备性 ⇒ 希尔伯特空间 0. 欧几里得空间 欧氏空间是一个特别的度量空间,它使得我们能够对其的拓扑性质, ...
- Kernel Methods (6) The Representer Theorem
The Representer Theorem, 表示定理. 给定: 非空样本空间: \(\chi\) \(m\)个样本:\(\{(x_1, y_1), \dots, (x_m, y_m)\}, x_ ...
- Deep Learning and Shallow Learning
Deep Learning and Shallow Learning 由于 Deep Learning 现在如火如荼的势头,在各种领域逐渐占据 state-of-the-art 的地位,上个学期在一门 ...
- 【论文笔记】Domain Adaptation via Transfer Component Analysis
论文题目:<Domain Adaptation via Transfer Component Analysis> 论文作者:Sinno Jialin Pan, Ivor W. Tsang, ...
随机推荐
- adjust, administer
adjust to just, exact. In measurement technology and metrology [度量衡学], calibration [校准] is the compa ...
- 零基础学习java------day10------带包编译,权限修饰符,内部类,调式,junitTest
0. 带包编译 解决使用notepad++编写的java类中如果有package的解决方案,如下代码 package com._51doit.test; class HelloWorld{ publ ...
- 【STM32】基于正点原子『探索者』开发板的烧录
项目需要一个功能,开发板范例正好有,就买了一块,不过还是有点贵 我手边没有J-Link 用的都是串口烧录 烧录时,先打开右上的开关 如果是仿真器烧录,它无法供电,需要接12V适配器或是杜邦线供电 然后 ...
- Oracle trunc和round的区别
1.关于trunc 和round函数比较 整体概括: round函数 四舍五入trunc函数 直接截取 对于时间: Round函数对日期进行"四舍五入",Trunc函数对日期进行截 ...
- redis入门到精通系列(二):redis操作的两个实践案例
在前面一篇博客中我们已经学完了redis的五种数据类型操作,回顾一下,五种操作类型分别为:字符串类型(string).列表类型(list).散列类型(hash).集合类型(set).有序集合类型(so ...
- 锁对象-条件对象-synchronized关键字
1 import java.util.concurrent.locks.Condition; 2 import java.util.concurrent.locks.Lock; 3 import ja ...
- mysql之join浅析
1.可以使用join吗?使用join有什么问题呢?-- >超过3个表不使用join,笛卡尔积问题 -->这些问题是怎么造成的呢? 如果可以使用 Index Nested-Loop Join ...
- OpenStack之一:初始化环境
初始化环境必须在左右节点执行 #:注意node节点要使用7.2 #: 关闭NetworkManager [root@localhost ~]# systemctl stop NetworkManage ...
- Redis | 第12章 Sentinel 哨兵模式《Redis设计与实现》
目录 前言 1. 启动并初始化 Sentinel 2. Sentinel 与服务器间的默认通信 2.1 获取主服务器信息 2.2 获取从服务器信息 2.3 向主服务器和从服务器发送信息 3. 接受来自 ...
- 代码图形统计工具git_stats web
目录 一.简介 二.安装ruby 三.配置git_stats 四.通过nginx把网页展示出来 一.简介 仓库代码统计工具之一,可以按git提交人.提交次数.修改文件数.代码行数.注释量在时间维度上进 ...