机器学习（一）之KNN算法

knn算法原理

①.计算机将计算所有的点和该点的距离

②.选出最近的k个点

③.比较在选择的几个点中那个类的个数多就将该点分到那个类中

KNN算法的特点：

knn算法的优点：精度高，对异常值不敏感，无数据假设

knn算法的缺点：时间复杂度和空间复杂度都比较高

knn算法中遇到的问题及其解决办法

1、当样本不平衡时，比如一个类的样本容量很大，其他类的样本容量很小，输入一个样本的时候，K个临近值中大多数都是大样本容量的那个类，这时可能就会导致分类错误。改进方法是对K临近点进行加权，也就是距离近的点的权值大，距离远的点权值小。

2、计算量较大，每个待分类的样本都要计算它到全部点的距离，根据距离排序才能求得K个临近点，改进方法是：先对已知样本点进行剪辑，事先去除对分类作用不大的样本。

knn算法数据范围：数值型和标称型

注意：数据是二维的，第一维表示样本，第二维表示特征(如手写数字算法，)

标称型：标称型目标变量的结果只在有限目标集中取值，如真与假(标称型目标变量主要用于分类)

数值型：数值型目标变量则可以从无限的数值集合中取值，如0.100，42.001等 (数值型目标变量主要用于回归分析)

knn算法的应用

案例：

import numpy as np
import pandas as pd
# KNeighborsClassifer 用于分类问题的处理
from sklearn.neighbors import KNeighborsClassifier

# 导入数据：

movie = pd.read_excel("./data/movies.xlsx",sheet_name=1)
movie

#根据电影的武打镜头和接吻镜头的数量判断电影的类型

#knn算法是有监督学习，需要样本训练数据，和目标值进行对照

提取数据：

x = movie.iloc[:,1:3]

y = movie["分类情况"]

# 此时K值等于5，即5个邻居
knn=KNeighborsClassifier(n_neighbors=5)

# 训练算法:fit()以X为训练数据，y为目标值拟合模型

knn.fit(x,y)

#数据进行l训练，已经建立了一个分类标准

#添加2个样本数据

x_text = pd.DataFrame({"武打镜头":[120,10],"接吻镜头":[5,80]})

# 使用算法预测目标样本的分类情况

knn.predict(x_text)                 

预测结果：

array(['动作片', '爱情片'], dtype=object)

#从结果可以看出：第一个样本被划分到动作片中，第二个样本被划分到爱情片中

#对样本进行估计被划分到哪个类的概率

knn.predict_proba(x_text)

估计结果结果：array([[0.6, 0.4], [0.4, 0.6]])

注意：knn算法是根据距离远近进行分类的划分，K为最近的样本。

当训练数据样本不均衡是，对数据处理的办法

给knn加权重，即weight = ["uniform","distance","calllable"]                 即：均衡、距离、自定义

如：

knn=KNeighborsClassifier(n_neighbors=5,weights="distance")

算法的保存和算法的加载

当我们对算法进行了训练之后，想要再次使用该算法进行预测时，就不需要再次进行算法的训练了，直接使用保存的算法，对需要进行分类的样本进行分类就行

#算法保存

#应用模块

from sklearn.externals import joblib

#存储样本的方式：

joblib.dump(knn,filename = "./digit_detector.m")

#filename后边自定义后缀为m的文件名

#算法的加载

from sklearn.externals import joblib

#加载之前保存的算法

knn = joblib.load("./digit_detector.m")