20151227感知机(perceptron)

1 感知机

1.1 感知机定义

感知机是一个二分类的线性分类模型，其生成一个分离超平面将实例的特征向量，输出为+1，-1。导入基于误分类的损失函数，利用梯度下降法对损失函数极小化，从而求得此超平面，该算法有原始形式和对偶形式。

定义：假设输入空间是\(\chi \subseteq \mathbb{R}^n\)，输出空间是{+1,-1}，输入\(x \in \chi \)表示实例的特征向量，对应于输入空间的点；输出\(y \in Y\)表示实例的类别。则由输入空间到输出空间的如下函数f(x) = sign(wx+b)为感知机。其中\(w \in \mathbb{R}^n\)叫做权值，\(b \in \mathbb{R}\)叫做偏置，sign是符号函数即：
\[sign \left ( x \right ) = \left\{ \begin{matrix}
+1,x \geqslant 0 \\
-1, x < 0
\end{matrix}\right.\]
很明显可以看到，感知机的几何解释就是线性方程wx+b=0是一个超平面，将点分成+1，-1两类。

1.2 感知机损失函数

那么如何确定这个分离超平面呢？首先我们假设数据集线性可分，在这个目标下再定义一个损失函数，到时候将损失函数极小化就可以得到分离超平面了。
为了使得w，b联系可导，在这里采用的损失函数是误分类点到超平面的总距离。
①点\(x_0\)到超平面S距离为：
\[\frac{1}{\left \| w \right \|} \left| w \cdot x_0 +b \right| \]
②对于误分类点到超平面S距离为：
\[-\frac{1}{\left \| w \right \|} y_i \left| w \cdot x_0 +b \right| \]
③误分类点到超平面S距离之和为（其中M为误分类点的集合）：
\[-\frac{1} {\left \| w \right \|} \sum_ {x_i \in M} { y_i \left| w \cdot x_0 +b \right| }\]
④则感知机损失函数定义为：
\[-\sum_{x_i \in M} { y_i \left| w \cdot x_0 +b \right|}\]

2 感知机求解

2.1 原始形式

给定训练数据集\(T=\left \{ \left(x_1,y_1\right),\left(x_2,y_2\right),\cdots,\left(x_N,y_N\right) \right \}\)
其中，\(x_i \in \chi = \mathbb{R}^n\)，\(y_i \in Y= \left\{ -1,1 \right\}\)，\(i=1,2,\cdots,N\)，求参数w,b,使其成为以下函数极小化问题的解。其中M为误分类点的集合。
\[\underset{w,b}{min}L\left(w,b \right) = -\sum_{x_i \in M}{y_i \left( w \cdot x_i +b \right)}\]

这里采用随机梯度下降法来求解w，b。每次随机使用一个误分类点使其梯度下降。
算法步骤：
1. 选取初值w0，b0
2. 在训练集中选取数据\(\left( x_i,y_i \right)\)
3. 如果\(y_i \left( w \cdot x_i +b \right) \leqslant 0\)，则：(此处\(\eta\)为学习率)
\[w \leftarrow w + \eta y_i x_i\]\[b \leftarrow b + \eta y_i\]
4. 到(2)，直到训练集中没有误分类点。（此处有个疑问，如果不能线性可分怎么办，就是始终有个误分类点怎么搞？）

按照以上步骤可以发现如果有点被分错了，则会使得分离超平面超这个点这侧移动，使得距离减少。具体的代码如下。直接运行可以得到分隔的超平面和原始数据点。

# -*- coding:utf-8 -*-
########################################
# perceptron: perceptron
# Author : xuke
# Date   : 2015-12-16
########################################
import matplotlib.pyplot as plt
import numpy

def sign(x,w,b):
    res = b
    for i in xrange(len(x)-1):
        res += x[i+1]*w[i]
    return res

def perceptron(data):
    w = [-1]*(len(data[0])-1)
    b = 2

    i = 0
    end_flag = 1000
    end_num = 0
    learn_rate=2

    while(i< len(data) and end_num<end_flag):
        d = data[i]
        end_num += 1
        if sign(d,w,b)*d[0]<=0:
            b += learn_rate*d[0]
            w = [ w1+d1 for w1,d1 in zip(w, [t*d[0]*learn_rate for t in d[1:]])]
            i = 0
        else:
            i += 1
    print "iter:",end_num
    return w,b

def draw_line(data,w,b):
    flag = ['b*','rs','g+','sb', 'db', '<b', 'pb']
    for i in data:
        plt.plot(i[1],i[2],flag[i[0]])
    x = numpy.linspace(-10,10,100)
    plt.plot(x,(b+w[0]*x)*(-1)/w[1])
    plt.show()

if __name__=='__main__':
    data=[
        [1,4,3],
        [-1,1,1],
        [-1,3,1],
        [1,1,3],
        [1,4,6],
        [-1,-1,3],
        [1,3,9],
        [-1,4,1],
        [1,4,4],
    ]
    w,b = perceptron(data)
    print w,b
    draw_line(data,w,b)

2.2 对偶形式

我们在这里可以分析下这个公式：
\[w \leftarrow w + \eta y_i x_i\]\[b \leftarrow b + \eta y_i\]
很明显我们可以得到：
\[w=\sum_{i=1}^{N}{\alpha_i y_i x_i}\] \[b=\sum_{i=1}^{N}{\alpha_i y_i}\]
如果\(\eta=1\)，则这里的\(\alpha_i\)表示第i个点被分错的次数，如果这个值越大，则说明这个点越难被分对。
则这里我们可以拿出对偶形式：
输入：线性可分的数据集\(T=\left \{ \left(x_1,y_1\right),\left(x_2,y_2\right),\cdots,\left(x_N,y_N\right) \right \}\)
其中，\(x_i \in \mathbb{R}^n\)，\(y_i \in Y= \left\{ -1,1 \right\}\)，\(i=1,2,\cdots,N\)，学习率\(\eta \left( 0 < \eta \leqslant 1\right)\)
输出：\(\alpha,b\)；其中\(\alpha=\left( \alpha_1,\alpha_2,\cdots,\alpha_N \right)^T\)感知机模型\[f \left( x \right) = sign\left( \sum_{j=1}^{N}{\alpha_j y_j x_j \cdot x +b}\right)\]
1. \(\alpha \leftarrow 0,b\leftarrow 0\)
2. 在训练集中选取数据\(\left( x_i,y_i\right)\)
3. 如果\(y_i \left( \sum_{j=1}^{N}{\alpha_jy_jx_j \cdot x_i +b} \right) \leqslant 0\)
\[\alpha_i \leftarrow \alpha_i + \eta\] \[b \leftarrow b + \eta y_i\]
4. 转至(2)直到没有误分类数据
对偶形式中训练实例是以内积形式出现，在计算中可以提前计算内积矩阵Gram并存储。

3 其他

3.1疑问1：为什么单个感知机不能解决异或问题？

这里参考果壳网友回答，因为异或问题转换成二维平面就是一个分类问题。
-(0,1) +(1,1)
+(0,0) -(1,0)
但是上面的问题是无法线性可分的，因此感知机在这里不能解决异或问题。当然了单个感知机无法解决异或问题，但是多个的是能够解决的。

---

参考文献：
1. 《统计学习方法》李航
2. 感知机：http://blog.csdn.net/bingduanlbd/article/details/24468885
3. 为什么感知机(单层神经网络)不能解决异或问题：http://www.guokr.com/blog/793310/