《统计学习方法》极简笔记P2：感知机数学推导

感知机模型

输入空间是$\chi\subseteq\mathbb{R}^n$,输出空间是$y={+1,-1}$
感知机定义为：$f(x)=sign(wx+b)$

感知机学习策略

输入空间任一点$x_0$到超平面S的距离：
$\frac{1}{||w||}|wx_0+b|$
误分类数据$(x_i,y_i)$,有$-y_i(wx_i+b)>0$
误分类点$x_i$到超平面S的距离$-\frac{1}{||w||}y_i(wx_i+b)$
误分类点集合M,所有误分类点到超平面S的距离
$-\frac{1}{||w||}\sum_{x_i\in{M}}y_i(wx_i+b)$
由此，感知机损失函数定义为
$L(w,b)=-\sum_{x_i\in{M}}y_i(wx_i+b)$

感知机学习算法（原始形式）

输入：训练数据集
$T={(x_1,y_1),(x_2,y_2),(x_N,y_N)...,(x_1,y_1)}$
$x_i\in\chi\subseteq\mathbb{R}^n$,$y_i\in{y}={+1,-1}$,学习率$\eta$
输出：w,b;感知机模型$f(x)=sign(wx+b)$
(1)选取初值$w_0$,$b_0$
(2)训练集选取$(x_i,y_i)$
(3)IF $y_i(wx_i+b)≤0$
$w←w+\eta{y_ix_i}$
$b←b+\eta{y_i}$
(4)转至(2),直到没有误分类点。

另：感知机算法是收敛的，在训练数据及上的误分类次数k满足
$k≤(\frac{R}{\gamma})^2$

感知机学习算法（对偶形式）

由原始形式
$w←w+\eta{y_ix_i}$
$b←b+\eta{y_i}$
进行n次,w,b关于$(x_i,y_i)$增量分别为$a_iy_ix_i$和$a_iy_i$
记$a_i=n_i\eta$,最后学习到的w,b表示为
$w=\sum_{i=1}^{N}a_iy_ix_i$
$b=\sum_{i=1}^{N}a_iy_i$
输入：训练数据集
$T={(x_1,y_1),(x_2,y_2),(x_N,y_N)...,(x_1,y_1)}$
$x_i\in\chi\subseteq\mathbb{R}^n$,$y_i\in{y}={+1,-1}$,学习率$\eta$
输出：a,b;感知机模型$f(x)=sign(\sum_{j=1}^{N}a_jy_jx_j·x+b)$
其中$a=(a_1,a_2,...,a_N)^T$
(1)$a←0$;$b←0$
(2)训练集选取$(x_i,y_i)$
(3)IF $y_i(\sum_{j=1}^{N}a_jy_jx_j·x_i+b)≤0$
$a_i←a_i+\eta$
$b←b+\eta{y_i}$
(4)转至(2),直到没有误分类点。
记Gram矩阵$G=[x_i·x_j]_{N×N}$