实验一 使用sklearn的决策树实现iris鸢尾花数据集的分类

使用sklearn的决策树实现iris鸢尾花数据集的分类

要求：

建立分类模型，至少包含4个剪枝参数：max_depth、min_samples_leaf 、min_samples_split、max_features和criterion参数。

运用GridSearchCV，寻找出最优参数。

绘制出在不同的max_depth下的学习曲线。

步骤：

一、导入各种我们需要的模块或者数据集等

graphviz安装（安装完配置好路径还是不行的话重启一下电脑）

from sklearn import tree #导入树

from sklearn.tree import DecisionTreeClassifier #导入决策树分类器

from sklearn.datasets import load_iris #导入鸢尾花数据集

from sklearn.model_selection import train_test_split #分训练集测试集的类

from matplotlib import pyplot as plt #画图用的

from sklearn.model_selection import GridSearchCV #网格搜索

import pandas as pd

import graphviz #画决策树的，需要事先安装

二、将数据实例化，划分数据集和测试集

iris = load_iris() #将数据集实例化，别忘了括号

Xtrain,Xtest,Ytrain,Ytest = train_test_split(iris.data,iris.target,test_size=0.3) #将鸢尾花数据的特征矩阵和标签矩阵，按7:3的比例划分训练集和测试集，0.3是可以变的，也可以填0.4，注意X，Y的顺序

三、建立模型（三部曲：实例化、训练、评估）

clf = DecisionTreeClassifier() #实例化模型，括号不填criterion默认是‘gini’,也可以填criterion = 'entropy'

clf = clf.fit(Xtrain, Ytrain) #训练数据集

score = clf.score(Xtest, Ytest) #评估数据集

score #将评估结果打印出来，因为测试集和训练集划分的不同，可能每个人的结果也不同

1.PNG

四、画出决策树

feature_name = ['花萼长度','花萼宽度','花瓣长度','花瓣宽度'] #定义特征的名字，方便后面的阅读

dot_data = tree.export_graphviz(clf

,feature_names = feature_name

,class_names=["清风藤","云芝","锦葵"] #标签名字

,filled=True #框框填充颜色（可以不写）

,rounded=True #框框角是圆圆的（可以不写）

)

graph = graphviz.Source(dot_data) #导出树

graph

这就得到一棵原始的树

五、使用四个剪枝参数

clf = tree.DecisionTreeClassifier(max_depth=2 #最大深度是2，这个也可以填3或4试试看

,min_samples_leaf=5 #下一个叶子节点大于5会进行，小于5就不会再分

,min_samples_split=10 #最小分支节点，当前样本大于10才会分

,max_features=3 #最大特征数，有一个重要程度为0

)

clf = clf.fit(Xtrain, Ytrain)

score = clf.score(Xtest, Ytest)

score

可以把剪枝后的树画出来看看(代码和上面画树的一样)

2.png

dot_data = tree.export_graphviz(clf

,feature_names = feature_name

,class_names=["清风藤","云芝","锦葵"]

,filled=True

,rounded=True

)

graph = graphviz.Source(dot_data)

graph

六、绘制出在不同的max_depth下的学习曲线

test=[] #定义一个列表放分数

for i in range(10): #10次循环map_depth

clf = tree.DecisionTreeClassifier(max_depth=i+1)

clf = clf.fit(Xtrain, Ytrain)

score = clf.score(Xtest,Ytest)

test.append(score)

plt.plot(range(1,11),test,color="red") #横坐标是1-10，纵坐标是分数，颜色是红色

plt.xticks(range(1,11))#横坐标是1-10

plt.xlabel("max_depth") #横坐标标签

plt.ylabel("score") #纵坐标标签

plt.show() #展示画好的图（由图可知当map_depth为2时分数最高）

3.PNG

七、运用GridSearchCV，寻找出最优参数

parameters = {'criterion'