分类-回归树模型（CART）在R语言中的实现

分类-回归树模型（CART）在R语言中的实现

CART模型 ，即Classification And Regression
Trees。它和一般回归分析类似，是用来对变量进行解释和预测的工具，也是数据挖掘中的一种常用算法。如果因变量是连续数据，相对应的分析称为回归树，如果因变量是分类数据，则相应的分析称为分类树。

决策树是一种倒立的树结构，它由内部节点、叶子节点和边组成。其中最上面的一个节点叫根节点。
构造一棵决策树需要一个训练集，一些例子组成，每个例子用一些属性（或特征）和一个类别标记来描述。构造决策树的目的是找出属性和类别间的关系，一旦这种关系找出，就能用它来预测将来未知类别的记录的类别。这种具有预测功能的系统叫决策树分类器。其算法的优点在于:

1)可以生成可以理解的规则。

2)计算量相对来说不是很大。

3)可以处理多种数据类型。

4)决策树可以清晰的显示哪些变量较重要。 

下面以一个例子来讲解如何在R语言中建立树模型。为了预测身体的肥胖程度，可以从身体的其它指标得到线索，例如：腰围、臀围、肘宽、膝宽、年龄。

#首先载入所需软件包 

library(mboost) 

library(rpart) 

library(maptree) 



#读入样本数据 

data('bodyfat') 



#建立公式 

formular=DEXfat~age+waistcirc+hipcirc+elbowbreadth+kneebreadth

#用rpart命令构建树模型，结果存在fit变量中 

fit=rpart(formula,method='avova',data=bodyfat)

#直接调用fit可以看到结果 

n= 71 

node), split, n, deviance, yval 

     * denotes
terminal node 



1) root 71 8535.98400 30.78282 

  2) waistcirc< 88.4 40 1315.35800
22.92375 

    4) hipcirc< 96.25 17
 285.91370 18.20765 * 

    5) hipcirc>=96.25 23
 371.86530 26.40957 

     10)
waistcirc< 80.75 13  117.60710 24.13077
* 

     11)
waistcirc>=80.75 10   98.99016 29.37200
* 

  3) waistcirc>=88.4 31 1562.16200
40.92355 

    6) hipcirc< 109.9 13
 136.29600 35.27846 * 

    7) hipcirc>=109.9 18
 712.39870 45.00056 * 



#也可以用画图方式将结果表达得更清楚一些 

draw.tree(fit)

#建立树模型要权衡两方面问题，一个是要拟合得使分组后的变异较小，另一个是要防止过度拟合，而使模型的误差过大，前者的参数是CP，后者的参数是Xerror。所以要在Xerror最小的情况下，也使CP尽量小。如果认为树模型过于复杂，我们需要对其进行修剪

#首先观察模型的误差等数据

printcp(fit)



Regression tree:

rpart(formula = formula, data = bodyfat)



Variables actually used in tree construction:

[1] hipcirc   waistcirc



Root node error: 8536/71 = 120.23



n= 71



     
 CP nsplit rel error  xerror
    xstd

1 0.662895    
 0   1.00000 1.01364
0.164726

2 0.083583    
 1   0.33710 0.41348
0.094585

3 0.077036    
 2   0.25352 0.42767
0.084572

4 0.018190    
 3   0.17649 0.31964
0.062635

5 0.010000    
 4   0.15830 0.28924
0.062949



#调用CP（complexity
parameter）与xerror的相关图，一种方法是寻找最小xerror点所对应的CP值，并由此CP值决定树的大小，另一种方法是利用1SE方法，寻找xerror+SE的最小点对应的CP值。

plotcp(fit)

#用prune命令对树模型进行修剪(本例的树模型不复杂，并不需要修剪)

pfit=prune(fit,cp=
fit$cptable[which.min(fit$cptable[,"xerror"]),"CP"])



#模型初步解释：腰围和臀围较大的人，肥胖程度较高，而其中腰围是最主要的因素。

#利用模型预测某个人的肥胖程度

ndata=data.frame(waistcirc=99,hipcirc=110,elbowbreadth=6,kneebreadth=8,age=60)

predict(fit,newdata=ndata)数据分析培训