K邻近回归算法

代码：

 # -*- coding: utf-8 -*-
 """
 Created on Fri Jul 13 10:40:22 2018

 @author: zhen
 """
 import mglearn
 from sklearn.neighbors import KNeighborsRegressor
 from sklearn.model_selection import train_test_split
 import matplotlib.pyplot as plt
 import numpy as np

 x, y = mglearn.datasets.make_wave(n_samples=40)
 # 将wave数据集分为训练集和测试集
 x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=0)

 fig, axes = plt.subplots(1, 3, figsize=(15, 4))

 # 创建1000个数据点，在-3到3之间均匀分布
 line = np.linspace(-3, 3, 1000).reshape(-1, 1)
 for n_neighbors, ax in zip([1, 3, 9],axes):
     # 利用1个，3个和9个邻居分别进行预测
     reg = KNeighborsRegressor(n_neighbors=n_neighbors)
     reg.fit(x_train, y_train)
     ax.plot(line, reg.predict(line))
     ax.plot(x_train, y_train, '^', c=mglearn.cm2(0), markersize=8)
     ax.plot(x_test, y_test, 'v', c=mglearn.cm2(1), markersize=8)
     ax.set_title(
             "{} neighbor(s)\n train score:{:.2f} test score:{:.2f}".format(
                     n_neighbors, reg.score(x_train, y_train),
                     reg.score(x_test, y_test)))
     ax.set_xlabel("Feature")
     ax.set_ylabel("Target")
 axes[0].legend(["Model prediction", "Training data/target", "Test data/target"], loc="best")

结果：

总结：

　　K-NN的优点之一就是模型很容易理解，通常不需要过多调节就可以得到不错的性能。
在考虑使用更高级的技术之前，尝试此算法是一种很好的基准方法。
构建模型的速度通常很快，但如果训练集很大（特征数很多或样本基数很大），预测速度可能会比较慢。
因此，使用此算法之前进行数据预处理是很重要的！
此算法对特征数很多（几百或更多）的数据集效果往往不好，特别是稀疏数据集！