knn原理与实践

knn法是一种基本分类与回归方法

应用：knn算法不仅可以用于分类，还可以用于回归..

1、文本分类：文本分类主要应用于信息检索，机器翻译，自动文摘，信息过滤，邮件分类等任务.

2、可以使用knn算法做到比较通用的现有用户产品推荐，基于用户的最近邻(长得最像的用户)买了什么产品来推荐是种介于电子商务网站和sns网站之间的精确营销.只需要定期(例如每月)维护更新最近邻表就可以，基于最近邻表做搜索推荐可以很实时

优点：

1、简单，易于理解，易于实现，无需估计参数，无需训练，选择合适的k，对异常值不敏感；

2、适合于多分类问题(multi-modal,对象具有多个类别标签)

3、可拓展性强，添加新实例无需重新构造模型

缺点：

1、当样本不平衡时，如一个类的样本容量很大，而其他类样本容量很小时，有可能导致当输入一个新样本时，该样本的K个邻居中大容量类的样本占多数.可以采用权值的方法（和该样本距离小的邻居权值大）来改进.

2、计算量较大，因为对每一个待分类的文本都要计算它到全体已知样本的距离，才能求得它的K个最近邻点.对于大数据分类，即需要大量的训练样本，计算复杂度高

3、可理解性差，无法给出像决策树那样的规则.

距离度量：

1、高维度对距离衡量的影响：众所周知当变量数越多，欧式距离的区分能力就越差.

2、变量值域对距离的影响：值域越大的变量常常会在距离计算中占据主导作用，因此应先对变量进行标准化.

K值选择：目前采用交叉验证方式，选出误差率最小的对应的K

构造：

1、随着树的深度增加，循环的选取坐标轴，作为分割超平面的法向量。对于3-d tree来说，根节点选取x轴，根节点的孩子选取y轴，根节点的孙子选取z轴，根节点的曾孙子选取x轴，这样循环下去。

2、每次均为所有对应实例的中位数的实例作为切分点，切分点作为父节点，左右两侧为划分的作为左右两子树。

对于n个实例的k维数据来说，建立kd-tree的时间复杂度为O(k*n*logn)。

搜索：

最近邻搜索如下（k最近邻，搜索k次，每次将上一次最近邻删除）

1、首先从根节点出发找到包含目标点的叶节点，目标点的最近邻一定在以目标点为中心，并通过当前叶节点的超球体内部，

2、然后从该叶节点出发，依次回退到父节点，

3、如果父节点的另一子节点的区域与超球体相交，则到该区域继续查找，不断的查找与目标点最近邻的节点，直到不能查找最近邻的节点为止。

############################R语言#########################

library(class)

knn(train,test,cl,k=1,l=0,prob=FALSE,use.all=TRUE)

################################案例###########################################

##############################案例#############################################

library(class)

library(nutshell) ######取数据集spambase做案例#########

library(sampling) ########用抽样函数strata做抽样###################

data(spambase)

spambase.strata<-strata(spambase,stratanames=c("is_spam"),size=c(1269,1951)

,method="srswor") ########变量ID_unit#描述了样本中的行号信息###########

spambase.training<-spambase[rownames(spambase)%in%spambase.strata$ID_unit,]

#####训练集#############

spambase.validation<-spambase[!(rownames(spambase)%in%spambase.strata$ID_unit),]

######验证集###############

spambase.knn<-knn(train=spambase.training,test=spambase.validation,

cl=spambase.training$is_spam)

##########cl:训练数据的响应变量(因子类型)######################

summary(spambase.knn)

table(predicted=spambase.knn,actual=spambase.validation$is_spam)

####################matlab代码:包含分类与回归#######################

functionrelustLabel=KNN(test,train,trainlabels,k,type) %% test 为一条输入测试数据，train为样本数据，trainlabels为样本标签,选取k个临近值

row = size(train,1);

for j=1:row

switch type

case 1  % 求test到每个样本的欧氏距离

distanceMat(j)=sum((test-train(j,:)).^2);

case 2  %求test到每个样本的夹角余弦

distanceMat(j)=(train(j,:)*test')/(norm(train(j,:),2)*norm(test,2));

if distanceMat(j)<0

distanceMat(j)=(distanceMat(j)+1)/2;

end

end

end

distanceMat=distanceMat';

[B, IX] = sort(distanceMat,'ascend');  %距离从小到大排序

len = min(k,length(B));  %选k个邻近值，当然k不能超过训练样本个数

relustLabel = mode(trainlabels(IX(1:len))); % 取众数（即出现频率最高的label）作为返回结果

%%%%%%%%%%%%%%%%%对于回归而言： relustLabel = avg(trainlabels(IX(1:len)))

end

%主程序：

loaddata;

dataMat = data(:,1:3);

labels = data(:,4);

len = size(dataMat,1);

k = 4;

error = 0;

%观察可视化数据

label1=find(data(:,4)==1);

label2=find(data(:,4)==2);

label3=find(data(:,4)==3);

plot3(data(label1,1),data(label1,2),data(label1,3),'ro');

hold on

plot3(data(label2,1),data(label2,2),data(label2,3),'go');

plot3(data(label3,1),data(label3,2),data(label3,3),'bo');

grid on  %归一化处理

maxV = max(dataMat);

minV = min(dataMat);

range = maxV-minV;

newdataMat =  (dataMat-repmat(minV,[len,1]))./(repmat(range,[len,1]));

%测试数据比例

Ratio = 0.1;

numTest = Ratio * len; % 100条测试, 900条训练

%训练数据和测试数据

TrainData=newdataMat(numTest+1:end,:);

TrainLabels=labels(numTest+1:end,:);

TestData=newdataMat(1:numTest,:);

TestLabels=labels(1:numTest,:); %测试，欧氏距离type=1, 夹角余弦type=2

type=1;

for i = 1:numTest

classifyresult =  KNN(TestData(i,:),TrainData,TrainLabels,k,type);

% fprintf('第 %d 条记录，测试结果为：%d  真实结果为：%d\n',[iclassifyresult(i) labels(i)])

[classifyresult labels(i)])

if(classifyresult~=labels(i))

error = error+1;

end

end

classifyresult=classifyresult';

fprintf('分类错误的记录标签为：')

Index=find(classifyresult~=TestLabels)

fprintf('准确率为：%f\n',1-error/(numTest))