机器学习PR：感知机模型

感知机是二类分类的线性分类模型，所谓二分类指的是输出的类别只有-1或1两种，所谓线性指的是输入的特征向量集合在特征空间中被超平面划分为相互分离的正负两类。感知机学习的目的正是为了求出将训练数据进行线性划分的分离超平面。

1、感知机模型：

定义：x是n维特征向量，y是判断的二元类别-1或1，判别函数f(x)=sign(wx+b)，其中w和b是参数，w称为权重向量，b称为偏置，sign为符号函数。

说明：感知机模型的假设空间为定义在特征空间中的所有线性分类模型或线性分类器，即函数集合{f|f(x)=wx+b}。

几何解释： f(x)=wx+b=0，对应特征空间中的一个超平面，其中w是超平面法向量，b是超平面的截距，这个超平面将特征空间划分为两个部分，位于两部分的特征向量分别被称为正、负两类。

2、感知机学习策略（原则、标准）：

感知机有未知参数w、b，为了使用感知机必须基于样本数据求出未知参数，这里选择“经验风险损失最小原则”。首先需要确定损失函数，直观地以错误分类点的总数为损失函数最为自然，但缺点是w、b参数空间不连续可导，不易于优化。因此选择损失函数为错误分类点到超平面的总距离。点到超平面的距离为|wx+b|/||w||，||w||为L₂范数，那么错误分类的数据到超平面的距离可以表示为  -y（wx+b）/||w||, 因此损失函数表示为：

其中M是错误分类的点的集合，显然损失函数是非负的，如果没有错误分类的点，损失函数值为零。而且错误分类的点越少、误分类点离超平面越近，损失函数值就越小。

3、学习算法：对给定的样本集，求参数w、b使得损失函数最小化

损失函数的梯度：

算法1：随机梯度下降法

算法解释：

首先任意选取一个超平面w、b，然后用梯度下降法不断地极小化损失函数，极小化过程不是一次使M中所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降。

其中是步长，又称为学习率。这样通过迭代可以期待损失函数不断减少，直到0。直观上理解，当一个点被错误分类，即位于分离超平面的错误一侧时，则调整w,b的值，使超平面向该分类点的一侧移动，以减少该分类点与超平面间的距离，直至超平面越过该误分类点使其被正确分类。可以看出，使用不同的初始值或选取不同的误分类点顺序会导致不同的解。可以证明训练样本线性可分时这个算法经过有限步后是收敛的。

算法2：算法1的对偶形式

算法解释：

基本思想是将w、b表示为x、y的线性组合形式，通过求解其系数而求得w、b。根据上面的算法1，从假设w、b分别为零开始，经过多次迭代到最终获得解，最终w、b可以表示为：

这里表示第i个点由于被误分而进行更新的次数，点更新的次数越多，意味着它离超平面越近，也就越难正确分类，也就是这样的点对学习结果的影响最大。将感知机表达式替换成上面的式子，就变成了先求解系数，最后直接计算w。在算法迭代过程中点之间的计算只涉及內积形式，故可以预先以Gram=[x_ix_j]_NXN矩阵存储。