视觉机器学习------KNN学习

KNN（K-Nearest Neighbor algorithm, K最近邻方法）是一种统计分类器，属于惰性学习。

基本思想：输入没有标签即未经分类的新数据，首先提取新数据的特征并与测试集中的每一个数据特征进行比较；然后从样本中提取k个最邻近（最相似）数据特征的分类标签，统计这k个最邻近数据中出现次数最多的分类，将其作为新数据的类别。

1. 分类

KNN按照一定规则将相似的数据样本进行归类。在KNN学习中，首先计算待分类数据特征与训练数据特征之间呃距离并排序，取出距离最近的k个训练数据特征；然后，根据这k个相近训练数据特征所属的类别来判定新样本的类别：如果它们都属于同一类，那么新样本也属于这个类；否则，对每个候选类别进行评分，按照某种规则确定新样本的类别。

一般采用投票规则，即少数服从多数，期望的k值是一个奇数。精确的投票方法是计算每一个测试样本与k个样本之间的距离。