Perceptron Learning Algorithm (PLA)

1. Perceptron - 感知机，是一种二元线性分类器，它通过对特征向量的加权求和，并把这个”和”与事先设定的门槛值(threshold)做比较，高于门槛值的输出1，低于门槛值的输出-1。其中sign 是取符号函数，括号中所包含的内容大于0时，取+1；小于0时，取-1。
2. 对h(x)做一些数学上的简化。变成向量表示：
3. 感知机（perceptron）是一个线性分类器(linear classifiers）。sign(W^_TX)其实就相当于W^_TX=0，都表示一个超平面。
4. PLA算法只有在满足训练样本是线性可分（linear separable）的情况下才可以停止。Perceptron Learning要做的是，在“线性可分”的前提下，由一个初始的Perceptron h(x)开始，通过不断的learning，不断的调整h(x)的参数w，使他最终成为一个完美的perceptron。

5. PLA的方法(梯度下降法)如下：

6. PLA _{“知错就改”演算法解释：在其两边分别乘以可得到：因为是错误点，所以是小于0的。因此，慢慢接近于0或者大于0.这说明误差在慢慢减小。}
7. 证明PLA能够使w不断接近w_f:
     
8. 当训练数据集是线性可分时，感知机学习算法是迭代收敛的；当训练数据集是线性不可分时，感知机学习算法不收敛，迭代结果会发生震荡。