机器学习技法--学习笔记04--Soft SVM

背景

之前所讨论的SVM都是非常严格的hard版本，必须要求每个点都被正确的区分开。但是，实际情况时很少出现这种情况的，因为噪声数据时无法避免的。所以，需要在hard SVM上添加容错机制，使得可以容忍少量噪声数据。

 

"软"化问题

软化SVM的思路有点类似正规化，在目标函数添加错误累加项，然后加一个系数，控制对错误的容忍度，并且在约束中添加错误容忍度的约束，形式如下：

 

现在问题就变成了（d+1+N）个变量和2N个约束。ξ用来描述错误的容忍度。C是常量，用来控制容忍度。C越大，由于min的作用，ξ错误就会变小，也就是对错误的容忍度变小，约束变苛刻，边界变窄；反之，容忍度越大，约束变宽松，边界变宽。

 

遇到老熟人

现在，将上面软化后的SVM问题进行对偶转化和简化，得到的结果和之前hard版本十分类似，好像遇到了老熟人。

区别部分用红色高亮了，你会发现只多了N个约束。

 

α的妙用

α仍然可以使用QP方法计算得到，b的求解也是通过complementary slackness，但是在求解b的过程，可以将向量分为三类，很有参考意义，可用于数据分析。

首先看看complementary slackness条件，

当时，向量在边界上或远离边界；

当时，，向量在边界上，称之为free支持向量；

当时，向量在边界上()或者破坏约束()。

 

具体可以参考下图，

 

SVM实战

之前4篇学习笔记，公式理论推导了一大串，感觉有点飘，那么接下来就实战SVM，这样才踏实。使用的libsvm，但是在R中调用，需要'e1071'扩展（install.package('e1071')）。试验数据见这里。直接来代码：

library(e1071)

load('data/train.RData')

train$digit <- sapply(old_train_digit, function(digit) ifelse(digit == '0','0','non-0') )

train$digit <- factor(train$digit)

 

m_svm <- svm(digit~., data = train, scale = FALSE, kernel = 'radial', cost = 1, gamma = 100)

summary(m_svm)

attributes(m_svm)

上面使用了RBF kernel，取C = 1。得到的结果中，有个属性是coefs，之前对这个属性很不了解，但是查看帮助，原文"The corresponding coefficients times the training labels"，发现原来就是下面的值，

所以，如果使用线性kernel（也就是不用kernel），可以根据w的公式（如下）很方便的计算出w，

如果想实践QP，推荐使用R扩展包kernlab中的ipop函数。

 

最后，要感谢台湾大学林轩田老师设计出这么好的课程和作业，加深了我对SVM的理解，希望后面可以灵活的应用到实际工作中！