k-近邻算法的优缺点及拓展思考

//2019.08.03晚
#k-近邻算法的拓展思考与总结
1、k-近邻算法是一种非常典型的分类监督学习算法，它可以解决多分类的问题；另外，它的整体思想简单，效果强大。它也可以用来解决回归问题，使用的库函数为KNeighborsRegressor

2、k-近邻算法虽然可以很好地解决多分类问题，但是它也有很多的缺点，具体主要有以下几个方面：
(1)效率低下:
对于每一个预测数据都需要O(mxn)的时间复杂度，可以对其利用树结构进行优化，不过即使优化之后其效率也是比较低下的；
(2)高度数据相关：
一旦数据中存在一些误差数据(最近周边的几个数据一旦出错),则其准确度就会很难保证，很容易出现错误的预测结果。
(3)数据预测结果不具备可解释性：
预测结果只是来自于对于测试数据最近的点的属性，整体上很难解释，也导致了很难进行后续的改进和发展；
(4)维数灾难：
随着数据维度的增加，看似"非常接近"的两个点之间的距离会越来越远；当然可以对其进行降维，不过对于整体算法的影响很大。