《机器学习实战》——K近邻算法

三要素：距离度量、k值选择、分类决策

原理：

(1) 输入点A，输入已知分类的数据集data

(2) 求A与数据集中每个点的距离，归一化，并排序，选择距离最近的前K个点

(3) K个点进行投票，票数最多的分类即为所求

优点：

简单，可用于非线性分类

缺点：

当样本不均衡时影响投票结果；

分类结果受K值影响；

时空复杂度高：需要保存全部数据O(N)，每次取前k个都要与全部数据进行计算O(N)，耗费内存大且计算量大

改进：

样本均衡化

太小的K值容易受噪音影响，大的K值减小噪音但会使分类边界模糊，最合适的方法是用交叉验证确定K值：先确定较小的k，。

建立kd树木来较少距离计算：依次选x轴、y轴中位数重复切分超平面，直到子区域没有实例；先从根找叶子，再从叶子回退递归地查找最近点，回退到根节点、或满足条件终止（未必是最优解）。

代码：

 # coding: utf-8
 from numpy import *

 class KNN(object):
     def __init__(self, inX, dataStr, k=20):
         group, labels = self.loadData(dataStr)
         if array(inX).shape != array(group[0]).shape:
             raise ValueError("the shapes of inX are wrong!")
         self.classify  = self.classifyer(inX, group, labels, k)

     def loadData(self, dataStr):
         data = [it.strip().split("\t") for it in dataStr.strip().split("\n")]
         group = [map(float, it[:2]) for it in data]
         labels = [it[2] for it in data]
         return group, labels

     def getDistance(self, vectorA, vectorB):
         vectorA = array(vectorA); vectorB = array(vectorB)
         if vectorA.shape != vectorB.shape:
             raise ValueError("the shapes of input array are different!")
         else:
             print vectorA, vectorB
             return sum((vectorA - vectorB)**2)**0.5

     def classifyer(self, inX, group, labels, k):
         k = min(k, len(labels))
         distances = [self.getDistance(it, inX) for it in group]
         sortedDistIndices = array(distances).argsort().tolist()
         voter = dict()
         for i in range(k):
             voteLabel = labels[sortedDistIndices[i]]
             voter[voteLabel] = voter.get(voteLabel, 0) + 1
         classify = min(voter.items(), key = lambda x: x[1])[0]
         return classify

 if __name__=="__main__":
     data = "1\t1.1\tA\n1\t1\tA\n0\t0\tB\n0\t0.1\tB\n"
     inX = [1,2]
     a = KNN(inX, data).classify