Kernel Logestic Regression

一、把 soft margin svm 看做 L2 Regression 模型

　　先来一张图回顾一下之前都学了些什么:

　　

　　之前我们是通过拉格朗日乘子法来进行soft Margin Svm的转化问题，现在换一个思路：

　　

　　好了，观察我们得到的这个没有条件的最小化问题：

　　

　　这似乎和L2正则比较相似：

　　

　　所以，可以把SVM看为一个正则化模型：

　　

二、 SVM 与 Logestic Regression 对比

　　01损失 Logestic Regression损失， svm损失对比：

　　

　　所以得到SVM损失近似于Logestic Regression损失。

三、SVM for soft Binary Classification

　　

　　上面两个思路并没有利用到Logestic Regression的优点，怎么利用呢？

　　

四、Kernel Logestic Regression

　　未完待续。还不是很理解。