每日一个机器学习算法——k近邻分类

K近邻很简单。

简而言之，对于未知类的样本，按照某种计算距离找出它在训练集中的k个最近邻，如果k个近邻中多数样本属于哪个类别，就将它判决为那一个类别。

由于采用k投票机制，所以能够减小噪声的影响。

由于KNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，KNN方法较其他方法更为适合。

一个不足之处是计算量较大，因为对每一个待分类的样本都要计算它到全体已知样本的距离，才能求得它的K个最近邻点。