KNN学习笔记

简单地说，KNN算法就是通过测量不同特征值之间的距离来对特征进行分类的一种算法。

　　优点：精度高、对异常值不敏感、无数据输入假定。

　　缺点：计算复杂度高、空间复杂度高。

　　适用数据范围：数值型和标称型。

　　工作原理：存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是K-近邻算法中K的出处，通常K是不大于20的整数。最后，选择K个最相似数据中出现次数最多的分类，作为新数据的分类。

　　以电影分类为例，现在有一个电影数据集，每个电影的字段为接吻镜头的个数、打斗镜头的个数以及对应的分类（爱情片 or 动作片），现在有一个未知分类的电影，知道了它

接吻镜头的个数和打斗镜头的个数，现在要对它进行分类。我们首先应该想到的就是计算它与其已经分类好的电影的距离（欧氏距离），然后取距离最近的k个数据，最后选择这k个数据出现次数最多的分类，作为这个电影的分类。

　　

下面，我们用Python实现一个简单的例子

import numpy as pd

import operator

# 创建数据集

def createDataSet():
    group = np.array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
    labels = ['A', 'A', 'B', 'B']
    return group, labels

# k-近邻算法
def classify0(inx, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]
    # np.tile(inx, (dataSetSize, 1)), 先沿着x轴的方向复制1， 再沿y轴复制dataSetSize
    diffMat = np.tile(inx, (dataSetSize, 1)) - dataSet
    sqDiffMat = diffMat ** 2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances ** 0.5
    # 获取distances从小到大的索引
    sortedDistIndicies = distances.argsort()
    classCount = {}
    # 统计距离最小的k个标签出现的次数
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
    # key=operator.itemgetter(1): 按照值进行排序，降序
    sortedclassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
    return sortedclassCount[0][0]

if '__name__' == '__main__':
　　group, labels = createDataSet()

　　print(classify0([0, 0], group, labels, 3)) # B

**刚刚开始学习，如有错误还请大神可以帮忙指正，更多例子可以参考《机器学习实战》这本书。