kNN算法个人理解

新手，有问题的地方请大家指教

训练集的数据有属性和标签

同类即同标签的数据在属性值方面一定具有某种相似的地方，用距离来描述这种相似的程度

k=1或则较小值的话，分类对于特殊数据或者是噪点就会异常敏感，容易将测试的数据分成和特殊数据一类或者分成和错误数据一类

k值很大的话，对于在训练集中占比很大的数据对这个未知数据的分类贡献会比一般数据大，存在以全概篇，容易分错

《机器学习实战》书上说的是K值是不大于20的书，我也听老师说K要取奇数，我想的话，是防止两个类别在位置数据的邻域内的占比相等，无法正确分类，所以要取奇数

看过某位大牛的博客，kNN（K-临近算法）取K个里面的占比最大的标签的原因是根据计算错误率得出来的：

图片来源：　　作者：Treant  出处：http://www.cnblogs.com/en-heng/

其中k是kNN的k，即未知数据的邻域大小k值，Cj是预测值（类别，标签），（Xi,Yi）Xi是属性值，Yi是数据标签（类别），I（judge）=1（judge成立，否则=0）

这个概率计算式表示的时候，错误率才最小

所以分类表达式

大K表示k邻域内不同标签的个数，用I（judge）函数来表示标签出现，做累计计算占比，出现最多的那个标签就是未知数据的分类标签。

kNN-临近算法，就是在未知数据的k邻域里面，找到最有可能是这个未知数据标签的标签。在k值取值合理的情况下，在距离未知数据较近的数据中，某个类别出现的次数越多，那么这个未知数据是这个类别的可能性就越高，这个假设也是建立在它的错误率表达式上面的。

《机器学习实战》书上用字典来计算标签次数的，将标签记为key，dict.get(key,0)+1当dict[key]没有的时候，默认返回0+1，出现一次，将key加入dict并且赋值，否则的话就直接+1，增加一次出现的次数。书上对距离的大小是点算的，将标签值看成是多维坐标上的点，计算点的距离作为数据间属性的相似度

计算邻域距离的方式有很多，没有具体看

初学，大家一起讨论