ML- 核函数(Kernel) 的 SVM

Why 核函数

目的是为了解决线性不可分问题.

核心思想是升维. 当样本点在低维空间不能很好地分开的时候, 可以考虑将样本通过某种映射(就是左乘一个矩阵) 到高维空间中, 然后在高维空间就容易求解一个平面 $w^Tx +b$ 将其分开了.

想法是很美滋滋, 但立马就有一个问题,计算量大, 升到几百几千维, 内存怕是受不了. 这就立马联想到PCA 降维. 我在上大学的时候, 做客户细分,和用户画像(ps, 我是市场营销专业嘛), 通常是会用到降维技术, 然后提取主成分或做因子分析, 目的都是为了降维和使数据具有可解释性. 结果核函数却要升维度, 感觉是费力费力搞了半天, 又回去了.

低高维

维度的理解应从向量空间去理解(构成该空间的基是几个),要从数学概念上理解. 这个什么"三维空间, 四维时间" 的物理概念是不一样的. 千万不要混淆什么时间,空间, 还有举个栗子, 如果连基本的抽象思维都没有, 那确实有些尴尬

映射(变换)

数据的值大小肯定跟原来的是不一样了呀. 在形式上就是左乘一个矩阵, $X' = PX$, 可理解矩阵本质是一个特殊的函数, 特殊在于它更像是咱们写代码时自定义函数 可以完成咱自定义的功能, 如对样本进行旋转, 拉伸(特征分解), 或拉伸旋转(SVD 分解) 等. 这些内部代码, 就封装在你定义的矩阵中.

PCA降维

就是对原输入样本X(矩阵) 左乘一个旋转矩阵P, 是的 PX 的方差尽可能逼近 X, 即丢掉一些方差贡献小的维度,这样就降维了呀( 注: PX 是对原X 进行线性组合了呀(加和数乘) 数据也改变了, 已经不是原来的狗子哦

真的要在高维度中进行计算?

不存在的. 天才的人类哦, 想出了所谓的 kernel trick, 核心思想是大致这样的:

在低维和高维的关系上, 构造出一一个函数, 这个函数满足, 在低维空间下对样本进行计算的结果跟在高维中计算的结果是相近的, 果然是小小的核(壳), 大大的梦想!

这简直不要太美, 真的是事半功倍呀. 能满足这样的函数, 就是我们平时谈的核函数, 过然很 trick 呀.

进入正题, 根据之前推导出的 SVM 的dual 形式:

$max_w \ f(a) = \sum \limits _{i=1}^n a_i - \frac {1}{2} \sum \limits_{i=1}^n \sum \limits_{j=1}^n y_i y_j a_i a_j <x_i, x_j> \\ s.t.$

$0<= a_i \le C \\ \sum \limits_{i=1}^n a_i y_i = 0$

我们引入一个函数 k, 用 $K(x_i, x_j)$ 代替 $<x_i, x_j>$

于是原来的dual变为了:

$max_w \ f(a) = \sum \limits _{i=1}^n a_i - \frac {1}{2} \sum \limits_{i=1}^n \sum \limits_{j=1}^n y_i y_j a_i a_j K(x_i, x_j)$

这就叫做带核函数的SVM, 跟之前的区别在于,样本在做点积的时候经过了一个函数去映射, 当然, 其实对应的a_i 跟原来不带核的也是变化了的.

$k(x_i, y_j) = <\phi(x_i), \phi(x_j)>$

将原始特征映射到更高维

假设升维的映射是:

$\Phi: \ X \rightarrow X' = \Phi (X) = X^2$

则:

$\Phi([x_{i1}, x_{i2}]) = [x_{i1}, x_{i2}, x_{i1} x_{i2}, x_{i1}^2, x_{i2}^2]$

这样就升高维度了哦.

Kernel Function

支持向量机通过某非线性变换 φ( x) ，将输入空间映射到高维特征空间。特征空间的维数可能非常高。如果支持向量机的求解只用到内积运算，而在低维输入空间又存在某个函数 K(x, x′) ，它恰好等于在高维空间中这个内积，即K( x, x′) =<φ( x) ⋅φ( x′) > 。那么支持向量机就不用计算复杂的非线性变换，而由这个函数 K(x, x′) 直接得到非线性变换的内积，使大大简化了计算。这样的函数 K(x, x′) 称为核函数。

Kernel 的 Mercer's Theorem

一个函数(矩阵) 要能成为核函数, 在数学上已经证明, 必须满足 Mercer 定理(后面再证吧)

Mercer 定理

如果函数是 $R^n * R^n \rightarrow n$ 上的映射 , 该函数是核函数,当且仅当, 对于训练样本点经过映射后的,值构成的矩阵是半正定的.

半正定

对于一个对称矩阵A, $\forall \ x, 都满足 x^TAx \ge 0$ , 有很多优良的性质, 嗯,这里先空着吧, 后面专门来整整.

接着上面svm讨论:

$K(x_i, x_j) = <\Phi(x_i), \Phi(x_j)>$

需要计算一波称为 Gram 矩阵的东西:

$G_{i,j} = K(x_i, x_j)$

即样本 $x_i, x_j$ 做了K映射后的值,作为矩阵 G 的第 i 行, 第 j 列元素值 , 必须满足:

G 是对称矩阵
G 是 半正定矩阵, 即( $z^TGz \ge 0, \ z \in R^n$)

这样的话, K 就是一个核函数了.

常用的Kernel

就是为了方调 API提高工作效率, 当然是在前人的基础之上的. 不可能每个都去自己造轮子. 我也是, 基本上从不生产代码, 只是API的搬运工.

Polynomial Kernel (多项式核)

$K(x_i, x_j) = (<x_i, x_j> +c)^d, \ 其中c,d 都为常量$

当 c = 0, d=1 时, 就成为线性核, 即无核SVM $K(x_i, x_j) = <x_i, x_j>$

c 用来控制低阶项的长度

case1: $K(x_i, x_j) = (<x_i, x_j> +0)^2$

原来样本: $X_i = [x_{i1}, x_{i2}]^T , \ X_j = [x_{j1}, x_{j2}]^T$

kernel: $K(X_i, X_j) = <X_i, X_j)^2$

$=(x_{i1} x_{j1} + x_{i2} x_{j2})^2$

$= x_{i1}^2 x_{j1}^2 + x_{i2}^2 x_{j2}^2 + 2x_{i1} x_{j1} x_{i2} x_{j2} \\ =\ <\Phi(X_i), \Phi(X_j)>$

其中, 样本的变换为:

$\Phi(X_i) = [x_{i1}^2, x_{i2}^2, \sqrt {2} x_{i1} x_{i2}] \\ \Phi(X_j) = [x_{j1}^2, x_{j2}^2, \sqrt {2} x_{j1} x_{j2}$

从本例,也就是说, 该 kernel 函数实现了等价的高维映射计算 & 包含的升维是从 2维 -> 3维

高斯核(rbf)

Gaussian Kernel 也被称为 Radial Basis Function Kernel. (咋翻译呢? 嗯, 椭圆图?) 就是在调包时候的参数 'rbf'.

$K(X_i, X_j) = e^(- \frac {||X_i - X_j||_2^2} {2 \sigma^2})$

$\sigma$ 可以用样本方差估计总体得出哦
$X_i = X_j$ 时, 值为1
随着 $X_i 与 X_j$ 距离增加, 值倾向于0 (因为$\sigma$ 变大了嘛, 钟图平缓了)
使用高斯核之前需要先将特征标准化

case 高斯核svm

假设通过之前svm 的dual形式下训练出的 a 为:

$a = [-0.5, 1,1, 1]$

工作的原理就是, 通过新输入的一个样本x', 与其余样本看相似度

$y = a_0 + a_1K(x_1, x_2) + a_1K(x_1, x_2+a_2K(x_1, x_2)+a_3K(x_1, x_2)) $ 的正负号

假设 x' 距离x1 特别近(近1, 远0), 里其他相对远,则:

$y= -0.5 + 1*1 + 1*0 + 1*0 + 1*0 = 0.5 \ge 0$ 则x'被分为正类

Sigmoid Kernel

激活函数核

$K(x_i, x_j) = arc \ tan(m x_i^T x_j + c)$

此时的SVM就相等于一个没有隐含层(Hidden Layer) 的简单神经网络哦

Cosine Similarity Kernel

余弦相似度核

$K(x_i, x_j) = \frac {x_i^T x_j}{||x_i|| ||x_j||}$

常用于衡量两段文字的相似性. 文本处理嘛 ,首先就是要词向量化. "相似" 的计算, 其实就是计算两个词向量的向量夹角的余弦值, 越靠近,值越接近1嘛.

Chi-squared Kernel

卡方检验核 (哎呀, 是在是不知道怎么翻译, 就是统计里的卡方检验嘛), 跟上面差不多的

$K(x_i, x_j) = \frac {x_i^T x_j}{||x_i|| ||x_j||}$

这个在图像处理可能会用, 用于衡量概率分布的相似性,ML我倒是没有用. 卡方检验嗯, 在我上大三的时候, 就是市场调研的数据分析, 因为要经常做假设检验 会用得多一点, 在分类样本的相关性方面.

卡方检验

统计样本的实际观测值与理论推断值之间的偏离程度.

实际观测值与理论推断值之间的偏离程度就决定卡方值的大小，如果卡方值越大，二者偏差程度越大；

二者偏差越小；若两个值完全相等时，卡方值就为0，表明理论值完全符合。

前面推导了这么多, 就是为了得到这么一个东西:

$max_w \ f(a) = \sum \limits _{i=1}^n a_i - \frac {1}{2} \sum \limits_{i=1}^n \sum \limits_{j=1}^n y_i y_j a_i a_j K(x_i, x_j)$

因此, 怎么理论落地, 用写代码的方式求解, 这就有点东西了, 其实, 写为上面的形式, 个人感觉就是为了写代码求解 a 做准备哦.

小结(svm)理论

convex (KKT)
max margin
svm primal
svm dual (lagrange)
slack svm
kernel svm

还有就是求解 smo , 多分类应用这些了.主要理论其实到这里感觉就差不多了.对于来说.