《机器学习实战》学习笔记一K邻近算法

　  一、　K邻近算法思想：存在一个样本数据集合，称为训练样本集，并且每个数据都存在标签，即我们知道样本集中每一数据（这里的数据是一组数据，可以是n维向量）与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征（向量的每个元素）与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似的的分类标签。由于样本集可以很大，我们选取前k个最相似数据，然后统计k个数据中出现频率最高的标签为新数据的标签。

　　K邻近算法的一般流程：

　　（1）收集数据：可以是本地数据，也可以从网页抓取。

　　（2）准备数据：将数据结构化，方便操作。

　　（3）分析数据：可以使用任何方法。

　　（4）训练算法：此步骤不适用于k邻近算法。

　　（5）测试算法：计算错误率；计算公式：错误率=测试出错次数/总测试次数

　　（6）使用算法：输入样本数据，输出结构化的结果，判断新数据属于哪个分类。

　　二、使用K近邻算法的一个例子

　　我使用的是spyder的开发环境，python的版本是3.5，spyder自带了numpy函数库。新建一个KNN.py文件，在本文件中完成本章实验。

　　在KNN中写一个数据生成函数：

 from numpy import *
 import operator

 def createDataset():
     group = array([[1.0,1.1],[1.0,1.0],[0.0,0.0],[0.0,0.1]])
     labels = ['A','A','B','B']
     return group,labels

　　在spyder中输入 ：

　　>>> import KNN

　　>>>group,labels = KNN.createDataSet()

　　>>>group

　　array([[ 1. , 1.1],
　　　　　[ 1. , 1. ],
　　　　　[ 0. , 0. ],
　　　　　[ 0. , 0.1]])

　　>>>labels

　　['A', 'A', 'B', 'B']

　　出现以上提示则说明函数正确。

　　三、K近邻算法函数

　　

 def classify(inX,dataset,labels,k):
     dataSetSize = dataset.shape[0]
     diffMat = tile(inX,(dataSetSize,1))-dataset
     sqDiffMat = diffMat**2
     sqDistances = sqDiffMat.sum(axis=1)
     distances = sqDistances**0.5
     sortedDistIndicies = distances.argsort()
     classCount ={}
     for i in range(k):
         voteIlabel = labels[sortedDistIndicies[i]]
         classCount[voteIlabel] = classCount.get(voteIlabel,0)+1
     sortedClassCount = sorted(classCount.items(),
                               key=operator.itemgetter(1),reverse=True)
     return sortedClassCount[0][0]

　　验证：在spyder中输入

　　>>> KNN.classify([0,0],group,labels,3)

　　输出结果应该为'B'。

　　四、例子：约会网站匹配改进

　　海伦收集约会数据已经有一段时间，她把这些数据放在文本文件datingdata.txt中，每个样本数据占据一行，共有1000行（她可能约会过1000个人，太可怕了^_^）,每个样本主要包括以下3中特征：

　　1、每年获得的飞行常客里程数

　　2、玩视频游戏所耗的时间百分数

　　3、每周消费的冰激凌公升数

　　上述数据保存在文本文件中，数据之间以空格间隔，在数据输入分类器之前，必须将待处理数据改变为分类器可以处理的数据，在KNN中创建名为file2matrix的函数，进行数据处理。

 def file2matrix(filename):
     fr = open(filename,'r')
     arrayOLines = fr.readlines()
     numberOfLines = len(arrayOLines)
     returnMat = zeros((numberOfLines,3))
     classLabelVector = []
     index = 0
     for line in arrayOLines:
         line = line.strip()
         listFromLine = line.split('\t')
         returnMat[index,:] = listFromLine[0:3]
         classLabelVector.append(int(listFromLine[-1]))
         index += 1
     return returnMat,classLabelVector
 retarnmat,classlabelvector = file2matrix('datingdata.txt')

　　在我运行这段程序，总是出现错误提示：could not convert string to float: '12 34 56',对于这个问题，我的改法是将文本中数据间的空格改为','并将

listFromLine = line.split('\t')改为

listFromLine = line.split(',')
这样就可以解决问题，但是不是最好的方法，还需要改进。