Andrew Ng机器学习课程7

回顾

通过定义训练集S={(x(i),y(i));i=1,2,...,m}与线性决策平面(w,b)之间的function margin γ^和geometric margin γ 、好的分类决策平面特点得到了一个最优化问题：

max(γ,w,b)γ　s.t.　y(i)(wTx(i)+b)≥γ,　||w||=1

下面要介绍的就是如何解决这个最优化问题，一个思路就是将这个没有“现货”可以解决的优化问题，转变为off-the-shelf的最优化问题的形式，以便直接拿来使用。

最优化问题推导过程

约束条件中的||w||=1是一个nasty(非凸)的目标，于是进行第一步的演变：

将最大化geometric margin转变为最大化function margin

max(γ^,w,b)γ^　s.t.　y(i)(wTx(i)+b)≥γ^,i=1,2,...,m

虽然没有了||w||=1的约束，但这个优化目标则变为了一个nasty（non-convex）函数，需要进行第二步的演变：
引入(w,b)的尺度限制，使function margin γ^=1

考虑到最大化γ^/||w||=1/||w||等效于最小化||w||2，于是第二步演变后得到的优化问题为：

max(γ,w,b)12||w||2　s.t.　y(i)(wTx(i)+b)≥1,i=1,2,...,m

经过两步的推导，问题转变为了一个典型的凸二次目标与线性约束的优化问题，这类问题可以通过成熟的software解决，不必深究。

虽然通过上面的推导过程能够解决并得到一个好的分类决策超平面，但是还得介绍一下Lagrange duality，通过上面优化问题的对偶形式，可以引入kernel trick得到在高维空间表现很好的optimal margin classifiers，另外，dual form将得到比上面解普通二次优化问题更加有效的方法。

Lagrange duality

1. Lagrange multiplier

考虑下面形式的优化问题：

minw　f(w)　s.t.　hi(w)=0,　i=1,...,l.

解决方法之一就是Lagrange multipliers，定义Lagrangian为：

L(w,β)=f(w)+sumli=1βihi(w)

βi那一项叫做Lagrange multipliers。通过求解偏微分来得到对应的w、β。

2. primal optimization problem

将如下形式的优化问题成为primal optimization问题：

minw　f(w)　s.t.　gi(w)≤0,i=1,...,k　hi(w)=0,　i=1,...,l.

为了解决这个问题，开始进行相关的推导：

generalized Lagrangian：

L(w,α,β)=f(w)+sumki=1αigi(w)+sumli=1βihi(w)
objective θP(w)：

θP(w)=maxα,β:αi≥0L(w,α,β)=maxα,β:αi≥0　f(w)+sumki=1αigi(w)+sumli=1βihi(w)

讨论一下，如果gi(w)>0　or　hi(w)≠0，则objective就变为了无穷大，因此maximize就是为了使gi(w)、hi(w)满足约束条件。当它们满足约束条件时，为了使objective就等于了f(w)。这里P的含义代表的是primal。

final optimization form：

minwθP(w)=minw　maxα,β:αi≥0L(w,α,β)

final optimal solution：

p∗=minwθP(w)

3. 对偶问题dual optimization problem

objective θD(α,β)：

θD(α,β)=minwL(w,α,β)

这里D代表的是dual。

dual optimization problem：

maxα,β:αi≥0θD(α,β)=maxα,β:αi≥0　minwL(w,α,β)

dual solution：

d∗=maxα,β:αi≥0θD(w)

4. 耦合primal和dual问题

不加约束地，两者有如下形式的关系：

d∗=maxα,β:αi≥0　minwL(w,α,β)≤minw　maxα,β:αi≥0L(w,α,β)=p∗

我们期望是在满足某些条件时，令d∗=p∗。而这个条件就是著名的KKT条件，这里不再详述，只是进行稍微的解释说明：f、gi(w)是凸函数，而hi(w)需为affine，即形如hi(w)=aTiw+bi。同时，如果(w,α,β)满足KKT条件，它就是primal和dual问题的解。

KKT formulation

∂L(w∗,α∗,β∗)∂wi=0,i=1,...n∂L(w∗,α∗,β∗)∂βi=0,i=1,...lα∗gi(w∗)=0,i=1,...,kgi(w∗)≤0,i=1,...,kα∗≥0,i=1,...,k

另外值得注意的条件就是，α∗gi(w∗)=0,i=1,...,k，叫做KKT dual complementary condition，它表明了如果α∗>0，那么gi(w∗)=0。后续引入到maximize marge问题中，会推导出support vector的定义。

optimal margin classifiers

这里重写margin最大化的问题：

max(γ,w,b)12||w||2　s.t.　y(i)(wTx(i)+b)≥1,i=1,2,...,m

support vector

通过定义gi(w)这个约束项为如下形式：

gi(w)=−y(i)(wTx(i)+b)+1≤0

这样这个问题就转变为了上面所介绍的那些预备问题了。从KKT dual complementary condition中可知，α∗>0对应训练样本中那些functional margin等于1的样本点，即使得gi(w∗)=0，这些点就叫做support vector。

2. 构造对偶问题

构造Lagrangian

按照上面的介绍的Lagrangian，构造如下形式：

L(w,b,α)=12||w||2−∑i=1mαi[y(i)(wTx(i)+b)−1]

构造θD

按照上面介绍的dual问题的步骤，进行构造，然后求解。对w求解偏微分，得到如下的对应的w：

w=∑i=1mαiy(i)x(i)

这个公式很重要，还记得刚才提到的support vector，实际上最后得到的w就是support vectors的样本点的线性组合。这一现象被称为∗∗表示定理∗∗。实际上知道了决策超平面w之后，很容易得到b的表达式为：

b∗=−maxi:y(i)=−1w∗Tx(i)+mini:y(i)=+1w∗Tx(i)2

实际上的含义就是当知道斜率之后，求截距b就是不断地进行平移，移动到两个样本的正中间。其实比较困难的地方时在求斜率上。

对偶问题

最后推出的dual问题的形式如下：

maxα　W(α)=∑i=1mαi−12∑i,j=1my(i)y(j)αiαj<x(i),x(j)>s.t.　αi≥0,i=1,...,m∑i=1mαiy(i)=0

当然这样进行dual问题转化，需要先验证KKT条件，否则两者primal和dual问题的解不等，转化就没意义了。这样问题转化为了求解参数为αi的最大化问题。

到此，假设已经得到了对应的解，那么模型在进行工作时，计算wTx+b时，可以进行如下的转换：

wTx+b=(∑i+1mαiy(i)x(i))Tx+b=∑i+1mαiy(i)<x,x(i)>+b

所以，计算中只需要计算新输入的x与训练集中的x的内积就好了。还记得support vector吧，实际上只需要计算新输入x与support vcetors的内积就好了。上面的那种形式，有助于我们引出kernel trick。

Kernels核

回顾linear regression，通过features x，x2，x3...，xn来获取更加powerful的曲线。实际上是通过特征一声，将原始特征映射到高维空间，随着n的增大，模型的能力越强，复杂度越高，可以拟合的曲线也越弯曲，但是随着自由度的增加，模型很有可能overfitting。常规的方法是不可能达到无穷多维度的拟合的。特征映射记为ϕ，映射后的特征记为ϕ(x)。而kernel的定义为：对应给定的特征映射ϕ(x)，K(x,z)=ϕ(x)Tϕ(z)。给定一个kernel就表达了两层信息，一是特征映射函数，二是内积。Kernel的好处是容易计算，如果对应的特征映射ϕ(x)是一个高维度的矢量，那么计算内积就比较费劲，而通常直接利用Kernel能够获得更有效率的计算。另一方面，kernel具有内积的特性，表示了经过特征转换后的特征相似度。比如：

K(x,z)=exp(−||x−z||22σ2)

当x,z距离很近时，接近为值接近为1；当x,z距离很远时，接近为值接近为0；这个Kernel叫做Gaussian kernel。定义Kernel matrix为Kij=K(xi,xj)。K得是半正定的对称矩阵。这是一个充分条件，被称为Mercer Theorem。

将Kernel应用与SVM是非常明显的，而kernel不仅仅能应用于SVM，特别地，当学习算法中需要以输入特征矢量的内积形式时，使用kernel代替将会在高维特征空间非常高效地工作。所以，称这种技能为kernel trick。

2015-8-26

艺少