SVM学习笔记1-问题定义

问题定义： 给出一些样本，包含两类。svm试图找到一个超平面，将数据分开，并且每种样本到超平面的距离的最小值最大。

输入样本：$\{x_{i},y_{i}| 1\leq i\leq n \}$,$y_{i}\in \{-1,1\}$

超平面定义:$w^{T}x+b=0$

设某一个采样点$x^{(i)}$到超平面的距离为$\gamma^{(i)}$,那么从$x^{(i)}$作方向为w的射线，其与超平面的交点为B，采样点到B的距离为$\gamma^{(i)}$，那么B可以用这样的向量表示$B=x^{(i)}-\gamma^{(i)}\frac{w}{||w||}$。

由于B在超平面上，所以有:$w^{T}(x^{(i)}-\gamma^{(i)}\frac{w}{||w||})+b=0$
我们从中解得$\gamma^{(i)}=(\frac{w}{||w||})^{T}x^{(i)}+\frac{b}{||w||}$。当$y^{(i)}=1$时此值为正数，否则为负数，所以我们将其乘以$y^{(i)}$，那么此时$\gamma^{(i)}=y^{(i)}((\frac{w}{||w||})^{T}x^{(i)}+\frac{b}{||w||})$

现在令$||w||=1$,按照我们问题定义中的描述，我们要解决的问题是这样的：$max_{w,b,\gamma }$ $\gamma$，使得(1)$y^{(i)}(w^{T}x^{(i)}+b)\geq \gamma ,1 \leq i \leq n$,(2)$||w||=1$

由于$||w||=1$的限制不利于求解，所以我们将求解换成如下的描述$max_{w,b,\gamma }$ $\frac {\gamma}{||w||}$，使得$y^{(i)}(w^{T}x^{(i)}+b)\geq \gamma ,1 \leq i \leq n$。此时$w$的大小可以任意取。

进一步我们令$\gamma=1$,那么现在变为$max_{w,b}$ $\frac {1}{||w||}$，使得$y^{(i)}(w^{T}x^{(i)}+b)\geq 1 ,1 \leq i \leq n$

最后，将求解问题变成$min_{w,b}$ $\frac{1}{2}||w||^{2}$，使得$y^{(i)}(w^{T}x^{(i)}+b)\geq 1 ,1 \leq i \leq n$。