机器学习简要笔记（三）-KNN算法

 #coding:utf-8

 import numpy as np
 import operator

 def classify(intX,dataSet,labels,k):
     '''
     KNN算法
     '''
     dataSetSize =dataSet.shape[0]
     ##numpy 中shape[0]返回数组的行数，shape[1]返回列数
     ##构建计算矩阵
     ##intX横向重复dataSetSize次，纵向重复1次
     ##例如intX=([1,2])--->([[1,2],[1,2],[1,2],[1,2]])便于后面计算
     diffMat=np.tile(intX,(dataSetSize,1))-dataSet
     ##将待分类样品复制dataSetSize份并与dataSet每个测试样一一对应
     ##计算待分类样品与已知样品的对应特征差值的平方
     sqdiffMat=diffMat**2
     ##计算待分类样品与每个已知样品的欧式距离
     seqDistance=sqdiffMat.sum(axis=1)  ##axis=1代表横轴（第1轴），0代表竖轴（第0轴）
     distance=seqDistance**0.5
     print "distance:",distance
     ##返回distance中元素从小到达排序后的索引
     sortDistance=distance.argsort()
     print "SortDistance:",sortDistance
     classCount={}
     for i in range(k):
         voteLabel=labels[sortDistance[i]]
         #print "第 %d 个 voteLabel = %s" %(i,voteLabel)
         classCount[voteLabel]=classCount.get(voteLabel,0)+1
     ##dict.get(key,default=None),字典的get()方法，返回指定键的值，如果值不在字典中返回默认值
     ##计算类别次数
     ##key = operator.itemgetter(1)根据字典的值进行排序
     ##key = operator.itemgetter(0)根据字典的键进行排序
     ##reverse 降序排序字典
     sortedClassCount=sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
     ##sortClassCount={[“动作片”，2],("爱情片",1])
     print "sortedClassCount:",sortedClassCount
     return sortedClassCount[0][0]

  def File2Matrix(filename):
     fr=open(filename,'r')
     FileLines=fr.readlines()
     ##获取数据的行数
     NumOfFLines=len(FileLines)
     ##建立数据返回矩阵
     returnMat=np.zeros([NumOfFLines,3])
     ##返回分类标签
     classLabelVector=[]
     ##行索引
     index=0
     for line in FileLines[1:]:
         line=line.strip()##删除收尾空白字符
         listFromLine =line.split("\t")
         ##每行数据是\t划分的，将每行数据按照\t进行切片划分
         returnMat[index,:]=listFromLine[1:4]
         ##根据文本划分为1，2,3类
         if listFromLine[-1]=="I. setosa":
             classLabelVector.append(1)
         elif listFromLine[-1]=="I. versicolor":
             classLabelVector.append(2)
         else:
             classLabelVector.append(3)
         index+=1
     fr.close()
     return returnMat,classLabelVector

 if __name__ =="__main__":
     datas,labels=File2Matrix("iris_data.txt")
     print datas[0:4]
     print labels[0:4]
     test = [5.9,3.0,5.1]
     test_class = myKNN.classify(test,datas,labels,5)
     if test_class=="":
         print "I. setosa"
     elif  test_class=="":
         print "I. virginica"
     else:
         print "I. versicolor"

'''本文件实现KNN
KNN算法的本质上使用模板匹配的思想。
要确定一个样本的类别，可以计算它与所有训练样本的距离，
然后找出和该样品最接近的k个样本，统计这些样本的类别进行投票，票数最多的那个类就是分类结果。
'''
'''
KNN算法是一种判别算法，即可支持分类，也可支持回归，是一种非线性模型。
它天然的支持多分类问题。KNN算法没有训练过程，是一种基于实例的算法。
KNN实现对Iris数据的分类。
'''
'''
KNN算法步骤
（1）计算距离
（2）选择距离最小的k个点
（3）排序
'''