秦曾昌人工智能课程---7、决策树集成学习Tree Ensembles

秦曾昌人工智能课程---7、决策树集成学习Tree Ensembles

一、总结

一句话总结：

其实机器模型减少variance的比较好的方式就是 多个模型取平均值

1、CART是什么？

classification and regression tree

2、决策树模型的本质是什么？

divide the input space into a few regions

3、我们如何用决策树去做预测？

信息不同属性按重要性依次下分：先划分x1的范围，这就形成了一个二叉树分支，再划分x2的范围，就形成的决策树。

叶子节点是分类，也是预测：预测的话就是不同范围的(x1,x2)就对应了不同的y，这个y就是可以用作预测的

叶子节点是预测值：决策树，非叶子节点就是x1，x2的范围，叶子节点就是预测的值y

4、CART tree 分割的一个例子？

|||-begin

x 1 | 2 3 4 | 5 6 7 8 9 10
y 0 | 1 2 3 | 4 5 6 7 8 9

|||-end

求不同分割的重要性：如果是1.5处分割，那么loss(1.5)=每一部分的差值平方和的和，比如第二部分xi={1-9}，x平均数=5，(xi-5)^2

5、CART tree的本质是什么？

二分·递归·分割树：感觉和线段树的分割非常相似，只不过cart tree的叶子节点是y值

6、如何用cart tree做集成学习？

多个角色投票产生：每个角色可能准确度不高，但是多个角色投票起来，准确率就高了很多（和多次模型取平均值很相似）

7、用cart tree做集成学习中Bagging 和 Boosting的区别是什么？

Bagging：每个臭皮匠的能力都是一样：每个模型是单独训练，方便做分布式，最后各个模型投票决定

Boosting：给臭皮匠分了等级：后一个模型的训练依赖于前一个，给分错的数据增加权限方便下一个模型分对，给训练的模型增加权限为了最后投票，最后也是各个模型投票决定

8、用cart tree做集成学习的好处是什么？

去掉了噪音：即那些不着边际的数据

二、内容在总结中