K最近邻

k算法实现的步骤：

第一：确定K值（就是指最近邻居的个数）。一般是一个奇数，因为测试样本个数有限，

第二：确定度量的长度，也就是余弦值，根据公式来算：

 

 

然后根据这个距离，排序大小，从中选出前k个值出来进行比较，然后根据字典的形式进行根据值进行获取相对应的类别，然后进行类别的统计。

最后，统计完类别的数量之后，则进行排序，按从小到大进行排序，然后得到第一个值对应的类别，则测试样点就是哪个类别。

 具体代码如下：

# -*- coding: utf-8 -*-
import sys
import os
import time
from numpy import *
import numpy as np
import matplotlib.pyplot as plt
import operator
from test1 import *
# 夹角余弦距离公式
def cosdist(vector1,vector2):
    return dot(vector1,vector2)/(linalg.norm(vector1)*linalg.norm(vector2))

# kNN分类器
# 测试集：testdata
# 训练集：trainSet
# 类别标签：listClasses
# k:k个邻居数
def classify(testdata, trainSet, listClasses, k):
      # 返回样本集的行数
    #dataSetSize = trainSet.shape[0]
    dataSetSize=len(trainSet)#计算出训练集文本数，上面这两种方法都可以
    # 计算测试集与训练集之间的距离：夹角余弦
    #print(dataSetSize)
    classcount={}
    distances = array(zeros(dataSetSize))
    print(distances)
    for i in range(dataSetSize):
        distances[i]=cosdist(testdata,trainSet[i])
    print(distances)
    sortdistances=argsort(distances)
    print(sortdistances)
    for indx in range(k):
        votelabel=listClasses[sortdistances[indx]]
        classcount[votelabel]=classcount.get(votelabel,0)+1
        print(classcount)
    print(classcount)
    sortedclasscount=sorted(classcount.items(),key=operator.itemgetter(1),reverse=True)
    return sortedclasscount[0][0]

    #d = sorted(s.iteritems(), key=lambda t: t[1], reverse=False)
dataSet,listClasses = loadDataSet()
nb = NBayes()
nb.train_set(dataSet,listClasses)
k = 3
print(classify(nb.tf[3], nb.tf, listClasses, k))