KNN K~近邻算法笔记

K~近邻算法是最简单的机器学习算法。工作原理就是：将新数据的每一个特征与样本集中数据相应的特征进行比較。然后算法提取样本集中特征最相似的数据的分类标签。一般来说。仅仅提取样本数据集中前K个最相似的数据。通常K不大于20。最后选择K个最相似数据中出现次数最多的分类。最为新的数据分类。

可是K~近邻算法必须保存所有的数据集。假设训练数据集非常大，必须使用打量的存储空间。此外，因为必须对数据集中每一个数据集计算距离值，实际使用起来会非常耗时间。