scikit-learn中机器学习模型比较（逻辑回归与KNN）

本文源自于Kevin Markham 的模型评估：https://github.com/justmarkham/scikit-learn-videos/blob/master/05_model_evaluation.ipynb

应办事项：

1. 我的监督学习应该使用哪一个模型
2. 我的模型中应该选择那些调整参数
3. 如何估计模型在样本数据外的表现

评论：

1. 分类任务：预测未知鸢尾花的种类
2. 用三个分类模型：KNN(K=1),KNN(K=5),逻辑回归
3. 需要一个选择模型的方法：模型评估

1. 训练测试整个数据集

---

在整个数集上进行训练，然后用同一个数集进行测试，评估准确度。

  1 from sklearn.datasets import load_iris
  2 from sklearn.linear_model import LogisticRegression
  3
  4 # 1.read in the iris data
  5 iris=load_iris()
  6 X=iris.data
  7 Y=iris.target
  8 # print(X)
  9 # print(Y)
 10
 11 # 2.logistic regression
 12 logreg=LogisticRegression()
 13 logreg.fit(X,Y)
 14 y_pred=logreg.predict(X)
 15 print(len(y_pred))

输出结果：

 

会发现有两个warning，但不影响结果，强迫症表示消灭红字。

分析和查阅logisticregression

https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html

将 logreg=LogisticRegression() 改为 logreg=LogisticRegression(solver='liblinear',multi_class='ovr') 即可。

 

三者初步比较：

 from sklearn.datasets import load_iris
 from sklearn.linear_model import LogisticRegression
 from sklearn import metrics
 from sklearn.neighbors import KNeighborsClassifier

 # 1.read in the iris data
 iris=load_iris()
 X=iris.data
 Y=iris.target
 # print(X)
 # print(Y)

 # 2.logistic regression
 logreg=LogisticRegression(solver='liblinear',multi_class='ovr')
 logreg.fit(X,Y)
 y_logreg_pred=logreg.predict(X)
 print(len(y_logreg_pred))
 print(metrics.accuracy_score(Y,y_logreg_pred))

 # 3.KNN=5
 knn=KNeighborsClassifier(n_neighbors=5)
 knn.fit(X,Y)
 y_knn5_pred=knn.predict(X)
 print(len(y_knn5_pred))
 print(metrics.accuracy_score(Y,y_knn5_pred))

 # 4.KNN=1
 knn=KNeighborsClassifier(n_neighbors=1)
 knn.fit(X,Y)
 y_knn1_pred=knn.predict(X)
 print(len(y_knn1_pred))
 print(metrics.accuracy_score(Y,y_knn1_pred))

输出结果：

问题：

1. 目标是评测模型样本以外的数据表现
2. 但是，最大化培训精度奖励过于复杂的模型，模型不能泛化
3. 不必要的复杂模型过度拟合

2. 分开训练和测试集

---

将数据集一分为二，一部分用于训练，另一部分用于测试。

 from sklearn.datasets import load_iris
 from sklearn.linear_model import LogisticRegression
 from sklearn import metrics
 from sklearn.neighbors import KNeighborsClassifier
 from sklearn.model_selection import train_test_split

 # 1.read in the iris data
 iris=load_iris()
 X=iris.data
 Y=iris.target

 # 2.split X,Y
 x_train,x_test,y_train,y_test=train_test_split(X,Y,test_size=0.4,random_state=4)
 print(x_train.shape)
 print(x_test.shape)
 print(y_train.shape)
 print(y_test.shape)

 # 3.logistic regression
 logreg=LogisticRegression(solver='liblinear',multi_class='ovr')
 logreg.fit(x_train,y_train)
 y_logreg_pred=logreg.predict(x_test)
 print(metrics.accuracy_score(y_test,y_logreg_pred))

 # 3.KNN=5
 knn=KNeighborsClassifier(n_neighbors=5)
 knn.fit(x_train,y_train)
 y_knn5_pred=knn.predict(x_test)
 print(metrics.accuracy_score(y_test,y_knn5_pred))

 # 4.KNN=1
 knn=KNeighborsClassifier(n_neighbors=1)
 knn.fit(x_train,y_train)
 y_knn1_pred=knn.predict(x_test)
 print(metrics.accuracy_score(y_test,y_knn1_pred))

输出结果：

 

观察不同的KNN中的k值对准确度会有什么影响。

 

 import matplotlib.pyplot as plt
 # print(k_range)
 scores=[]
 for k in k_range:
     knn=KNeighborsClassifier(n_neighbors=k)
     knn.fit(x_train,y_train)
     y_knnk_pred=knn.predict(x_test)
     scores.append(metrics.accuracy_score(y_test,y_knnk_pred))
 plt.plot(k_range,scores)
 plt.xlabel('value of k for KNN')
 plt.ylabel('testing accurancy')
 plt.show()

输出结果：

从上可以观察出k的取值对准确度的影响，k太小或太大都不是最佳值。

3. 预测

---

取k=11（7~16）。

 # 6.predict
 knn=KNeighborsClassifier(n_neighbors=11)
 knn.fit(x_train,y_train)
 y_pred=knn.predict([[3,5,4,2]])
 print(y_pred)

输出结果：

 

 

4. 附注：

---

KNN算法：https://www.jianshu.com/p/48d391dab189

KNN与K-Means区别：https://www.cnblogs.com/nucdy/p/6349172.html