【转载请注明出处】http://www.cnblogs.com/mashiqi

2014/4/10

在网上找到一个讲reproducing kernel的tutorial看了一看,下面介绍一下。

首先定义kernel(核)

于是我们可以从一个空间定义出一个kernel。接着,我们使用一个kernel来定义一个从到的映射,并称这个映射为reproducing kernel feature map(再生核特征映射):

.

这个映射的意思是:特定的kernel上的一个特定的元素构成了一个映射规则,将的任意元素的映射成一个实数,那么,实际上,就是将映射成了

值得注意的是,在泛函分析中,Hilbert空间上的"表现定理"说的是,任意一个内积都可以等价于一个线性泛函,任意一个线性泛函也等价于某个内积,即对任意线性泛函,使得。然而这里的"再生核特征映射"和"线性泛函"的区别是:

再生核特征映射是由某个核生成的;

而线性泛函是由内积生成的。

下面我们通过这个映射来定义一个Hilbert space。

第一步,构造一个空间(现在它还不完备,稍后会将它完备化)。于是,将所张成的空间记为

第二步,在上定义内积:

于是我们可以很容易的验证此内积满足内积的三个条件。

第三步,将空间完备化。

于是我们就由kernel构造出一个完备的希尔伯特空间,此空间称为reproducing kernel Hilbert space(再生核希尔伯特空间):

在第二步定义内积的过程中,我们可以发现,对于,有

我们称满足为reproducing kernel(再生核)。

Reference

[1] http://www.cs.berkeley.edu/~bartlett/courses/281b-sp08/7.pdf

2014/4/19

今天接着10号继续看再生核空间的内容。

今天终于有了些进展,下面讲讲这个再生核到底是怎么回事。

首先我们有一个由泛函构成的空间:

这些泛函又是定义在集合上的。通常,我们的思路一般会把默认为Hilbert空间,然后将理解为它的对偶空间。我最开始就是这样默认的。但是其实这里不应该这样去理解它。再生核理论基本上了默认以空间为Hilbert空间的,而集合只是理解为一个一般的集合。然后,再生核也是内的一个元,只是他相比较于一般的元而言,拥有更多的性质。好,大概铺垫完了,下面给出一些具体的定义,大部分内容来自

我们首先来给出reproducing Kernel(r.k.再生核)的定义

也就是说,现在我们有一个Hilbert空间,Hilbert空间里面的每一个点都是一个泛函:

也是一个泛函

并且还必须满足两条性质:

1、对于一个固定的是Hilbert空间中的一个元素;

2、再生性质:对于每个,都有:

其中表示Hilbert空间上的内积运算。根据这个再生性质,我们立即可以得到:

值得注意的是,式是一个令人满意的结果,根据这个式子我们可以很容易的得到的正定性。根据这个再生性质,我们立即可以得到以下几个推论(直接截图了):

如果存在则唯一(表示reproducing kernel):

"存在再生核"等价于"每个泛函都连续":

(*注:这里的连续性是指的上的泛函关于连续,而不是指的关于连续)

证明:

上的泛函,当上存在kernel时,有:

而根据式我们有:

所以:

其中无关。所以是有界泛函。又因为显然是线性的,所以是连续泛函。

而当是连续泛函时,因为它是线性的,所以根据表现定理即可证明。

证毕。

这也正如中所说:

再生核的正定性:

正定性证明:

证毕。

(*注:正定性是指在集合上的正定性,)

还有一些其他性质,除了"命题8"以外,其他命题对于本次学习的目标并不是很重要:

接着我们要做的事就是构造这样一个Hilbert空间,这个空间上的内积,以及这个空间上的唯一的一个kernel

Reference

[1] Aronszajn, Nachman. "Theory of reproducing kernels." Transactions of the American mathematical society (1950): 337-404.

[2] 王敏慧,"几类高斯过程的Karhunen-Loève展开及再生核希尔伯特空间"[D],哈尔滨工业大学,2010

[3]Aronsazjn, Par N. "La théorie des noyaux reproduisants et ses applications Première Partie." Mathematical Proceedings of Cambridge Philosophical Society.Vol. 39. No. 03. Cambridge University Press, 1943.

[4] http://www.cs.berkeley.edu/~bartlett/courses/281b-sp08/7.pdf

2014/4/20

今天希望了解到上面所讲的关于RKHS的性质与我们SVM中(以及其他机器学习技术)的核技术的联系。

我们接着看的5.1.3的定理1:

上面的逻辑可以这样描绘(这个图是重点)

上图分别存在三个集合,分别表示集合,RKHS,和我们所需要的空间。分别存在三个映射①②③,分别表示的映射的映射,和之间的映射,当的维数至多可数时,就是空间。首先讲解映射①,因为存在关系式:

所以存在映射,使得:

。又因为都是Hilbert空间,所以同构,所以存在同构映射,使得:

那么,有了这两步的铺垫(映射①与映射②),我们便可以借助搭建之间的映射。结合两式,我们得到:

记新的复合映射为

便得到了:

我们应该注意的是,虽然最后的式并没有涉及到Hilbert空间,但是如果没有空间在其中牵线搭桥,引出两个映射,那我们也不可能找到映射使得式得意满足。数学中的许多抽象概念在一些工程应用中虽不直接体现,但却给这些工程应用搭建了一些桥梁,使得工作可以继续深入!

Reference

[1] Aronszajn, Nachman. "Theory of reproducing kernels." Transactions of the American mathematical society (1950): 337-404.

[2] 王敏慧,"几类高斯过程的Karhunen-Loève展开及再生核希尔伯特空间"[D],哈尔滨工业大学,2010

再生核希尔伯特空间(RKHS)在监督学习(SVM)中的应用的更多相关文章

  1. SVM中径向基函数与高斯核的区别 Difference between RBF and Gaussian kernel in SVM

    Radial Basis Functions (RBFs) are set of functions which have same value at a fixed distance from a ...

  2. 通俗理解Hilbert希尔伯特空间

    作者:qang pan 链接:https://www.zhihu.com/question/19967778/answer/28403912 来源:知乎 著作权归作者所有.商业转载请联系作者获得授权, ...

  3. SVM中的线性分类器

    线性分类器: 首先给出一个非常非常简单的分类问题(线性可分),我们要用一条直线,将下图中黑色的点和白色的点分开,很显然,图上的这条直线就是我们要求的直线之一(可以有无数条这样的直线)     假如说, ...

  4. 希尔伯特空间(Hilbert Space)

    欧氏空间 → 线性空间 + 内积 ⇒ 内积空间(元素的长度,元素的夹角和正交) 内积空间 + 完备性 ⇒ 希尔伯特空间 0. 欧几里得空间 欧氏空间是一个特别的度量空间,它使得我们能够对其的拓扑性质, ...

  5. KD-Tree及希尔伯特空间填充曲线的应用

    引言 我们可能会有这样的一种需求,像是打车软件中呼叫附近的车来接送自己,或者是在qq中查看附近的人.我们都需要知道距离自己一定范围内的其它目标的集合.如果将上面举例的功能抽象出来,就是要实现以某个点为 ...

  6. 借One-Class-SVM回顾SMO在SVM中的数学推导--记录毕业论文5

    上篇记录了一些决策树算法,这篇是借OC-SVM填回SMO在SVM中的数学推导这个坑. 参考文献: http://research.microsoft.com/pubs/69644/tr-98-14.p ...

  7. SVM中为何间隔边界的值为正负1

    在WB二面中,问到让讲一下SVM算法. 我回答的时候,直接答道线性分隔面将样本分为正负两类,取平行于线性切割面的两个面作为间隔边界,分别为:wx+b=1和wx+ b = -1. 面试官就问,为什么是正 ...

  8. 希尔伯特空间(Hilbert Space)是什么?

    希尔伯特空间是老希在解决无穷维线性方程组时提出的概念, 原来的线性代数理论都是基于有限维欧几里得空间的, 无法适用, 这迫使老希去思考无穷维欧几里得空间, 也就是无穷序列空间的性质. 大家知道, 在一 ...

  9. 用户空间和内核空间通讯之【Netlink 中】

    原文地址:用户空间和内核空间通讯之[Netlink 中] 作者:wjlkoorey258 今天我们来动手演练一下Netlink的用法,看看它到底是如何实现用户-内核空间的数据通信的.我们依旧是在2.6 ...

随机推荐

  1. jquery改变元素的值的函数text(),html(),val()

    text() - 设置或返回所选元素的文本内容 html() - 设置或返回所选元素的内容(包括 HTML 标记) val() - 设置或返回表单字段的值,适合于标签中有value属性的标签. 代码: ...

  2. MVP Community Camp 社区大课堂

    MVP Community Camp 社区大课堂         微软技术社区大课堂开课啦!!!#MVPComCamp# 全中国微软最有价值专家MVP 在 3月21日周五全天齐聚北京国际会议中心为您呈 ...

  3. bash: sqlplus: command not found 解决方法

    在oracle用户下输入:sqlplus 抛出bash: sqlplus: command not found 解决办法: 在root用户下输入如下命令: ln -s $ORACLE_HOME/bin ...

  4. 使用SMSManager短信管理器发送短信

    import android.os.Bundle;import android.app.Activity;import android.app.PendingIntent;import android ...

  5. MongoDB常用操作一查询find方法db.collection_name.find()

    来:http://blog.csdn.net/wangli61289/article/details/40623097 https://docs.mongodb.org/manual/referenc ...

  6. Js中 关于top、clientTop、scrollTop、offsetTop的用法

    网页可见区域宽: document.body.clientWidth;网页可见区域高: document.body.clientHeight;网页可见区域宽: document.body.offset ...

  7. K2采购管理解决方案在线研讨会

    会议时间: 2013-10-31  15:00-17:00 注册地址:http://k2.gensee.com/webcast/site/livelogin 采购作为现代产业链中的一个基础环节,它的管 ...

  8. 端午小长假--前端基础学起来04CSS选择器

    定义: 选择器{ 样式: } 选择器指明{}中的样式的作用对象,即作用于网页中的哪些元素 <head><meta http-equiv="Content-Type" ...

  9. jpcap

    1.System.out.println( System.getProperty("java.library.path")); 2.将jpcap.dll放到上边打印的路径中

  10. IntelliLock托管代码保护和许可授权管理系统软件详细介绍及下载

    IntelliLock是一个能用于控件与应用程序许可授权的100%托管的先进解决方案.与.NET Reactor提供的基于源代码保护的授权许可系统不同,IntelliLock选择了以100%托管的方式 ...