机器学习：KNN-近邻算法

一、理论知识

1、K近邻（k-Nearest Neighbor，简称KNN）学习是一种常用的监督学习。

工作机制：给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个的信息来进行预测。且通常使用“投票法”。

2、以电影类型举例，现在已知部分电影的属性和分类，想要预测未知电影的分类。

　　我们可以计算未知电影和其它电影的属性距离，这里直接采用几何距离（Euclidean Distance），即把每个属性化为不同维度的坐标，再利用距离公式

　　计算结束后，递增排序，可以找到k个最近的样本。因为要采用“投票法”，即满足少数服从多数原则，所以K的取值一般为奇数。这里假设k=3，则最靠近的3个都为爱情电影，所以判断未知电影为爱情电影。

3、KNN算法伪码描述：

　　(1) 计算已知类别数据集中的点与当前点之间的距离；

　　(2) 按照距离递增次序排序；

　　(3) 选取与当前点距离最小的k个点；

　　(4) 确定前k个点所在类别的出现频率；

　　(5) 返回前k个点出现频率最高的类别作为当前点的预测分类

4、优点：简单；易于理解；通过对K的选择可具备丢噪音数据的健壮性

　缺点：（1）需要大量空间储存所有已知实例

　　　　（2）算法执行效率低（需要比较所有已知实例与要分类的实例）

　　（3）当其样本分布不平衡时，比如其中一类样本过大（实例数量过多）占主导的时候，新的未知实例容易被归类为这个主导样本，因为这类样本实例的数量过大，但这个新的未知实例并未接近目标样本。

　　　　缺点（3）的意思是，如图中的Y点，黑圈代表其k的取值，即黑圈内的点都是要进行投票的数据点。通过观察会发现Y显然与红点更近，然而因为紫色点在这个圈里数目更多，Y点就会被认为是紫色。对于这个缺点，通常我们用权重的方法改善，根据距离d改变权重，例如1/d，这样就能让离目标点近的数据点的权重更大一点，优化算法。

二、代码实现

　　调用sklearn库中KNN算法分析著名的iris数据

 from sklearn import neighbors

 from sklearn import datasets

 knn = neighbors.KNeighborsClassifier()

 iris = datasets.load_iris()

 knn.fit(iris.data, iris.target)                          # 建立KNN模型，输入特征值和分类结果

 predictedLabel = knn.predict([[6.3, 1.2, 5.2, 1.6]])

 print("predictedLabel is :"+ str(predictedLabel))

predictedLabel is :[1]

　　有现成的库调用起来很方便，当然也可以自己写对应的算法，下面是KNN的算法。

 def classify0(inX, dataSet, labels, k):                  # KNN算法

     dataSetSize = dataSet.shape[0]

     diffMat = tile(inX, (dataSetSize,1)) - dataSet       #计算两个点的空间距离

     sqDiffMat = diffMat**2

     sqDistances = sqDiffMat.sum(axis=1)

     distances = sqDistances**0.5

     sortedDistIndicies = distances.argsort()

     classCount={}

     for i in range(k):                                   #选择距离最小的k个点

         voteIlabel = labels[sortedDistIndicies[i]]

         classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1

     sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)  # 按照第二个元素进行从小到大排序，最后返回发生频率最高的标签

     return sortedClassCount[0][0]

三、参考资料

　　《机器学习》—— 周志华

　　《机器学习实战》—— Peter Harrington

ps:本人初学者，有错误欢迎指出。感谢。