机器学习算法——kNN

顶级数据挖掘会议ICDM于2006年12月评选出了数据挖掘领域的十大经典算法，kNN便是其中一个。

kNN算法的思想是：在训练集中选取与输入数据最近的k个邻居，统计k个邻居中出现次数最多的类别，以此作为该输入数据的类别。这是非常合理的一个想法，因为“物以类聚，人以群分”，隶属于聚类算法的k-means与kNN有异曲同工之妙，基本思想是一致的。

k-means算法对k值的选取是有要求的，k过大或过小都会降低算法的实际效果。
同样，kNN中k的取值也要适当：若k值过小，预测结果会对噪音样本点显得异常敏感。比如k等于1时，kNN退化成最近邻算法，没有了显式学习过程。若k值过大，会有较大的邻域训练样本进行预测，虽然减小噪音样本点的干扰，但是距离较远的训练样本点与距离较近的训练样本点对预测结果会有相同程度的影响，造成预测结果错误。

对于输入样本点的k个邻居而言，由于每个邻居与样本点的距离不等，所以这k个邻居对最终预测结果的影响也不应该一样，距离较远的邻居对预测结果的影响应该比距离较近的邻居的影响小，所以需要考虑对kNN进行优化。一种较常用的方法是，对距离不同的邻居的影响力（或贡献值）赋予不同的权重，距离越远则权重越小，表示影响力较小。

前文已经提到，算法需要计算距离大小，所以需要一个距离函数衡量两个样本之间的距离。常用的距离函数有：欧氏距离、余弦距离、汉明距离以及曼哈顿距离等，一般选欧氏距离作为距离度量，但这只适用于连续变量。在文本分类这种非连续变量情况下，通常选用汉明距离。

一个kNN的具体示例如下：

从上图可以看到，k的不同导致了模型在测试集准确率约六个百分点的波动（示例程序没有作权重分配处理）。