曾经在看用RF和GBDT的时候,以为是非常相似的两个算法,都是属于集成算法,可是细致研究之后,发现他们根本全然不同。

以下总结基本的一些不同点

Random Forest:

bagging (你懂得。原本叫Bootstrap
aggregating)

Recall that the key to bagging is that trees are repeatedly fit to bootstrapped subsets of the observations. One can
show that on average, each bagged treemakes use of around two-thirds of the observations.

bagging 的关键是反复的对经过bootstrapped採样来的观測集子集进行拟合。然后求平均。。。一个bagged tree充分利用近2/3的样本集。。。

所以就有了OOB预估(outof bag estimation)

training:   bootstrap the samples,

But when building these decision trees,each time a split in a tree is considered, a random sample of m predictors is chosen as split candidates from the full set of p predictors.

当构建决策树时,每次分裂时。都从全特征候选p集中选取m个进行分裂,一般m=sqrt(p)

比方:we choose m  (4 out of the 13 for the Heart data)

Using a small value of m in building a random forest will typically be helpful when
we have a large number of correlated predictors.

当特征集中相关联特征较多时,选择一个较小的m会有帮助。

random forests willnot overfit if we increase B, so in practice we use a value of B
sufficiently large for the error rate to have settled down.

随机森林不会过拟合,所以树的个数(B)足够大时会使得错误率减少

------------------------------------------------------------------------------------------------------------

GBDT

Boosting(a
set of weak learners create a single strong
learner)

Boosting does not involve bootstrap sampling; instead each tree is fit on a modified version of the original dataset.

Boosting不进行bootstrap sampling(这个但是RF的看家本领啊)。而是在原始数据集变化的版本号上进行拟合,(这个变化的版本号就是逐轮训练后。上一次的残差)

In general, statistical learning approaches that learn slowly tend to perform well.

普通情况下,学习慢的训练器表现效果较好(好像暗示了什么。。。。)

except that the trees are grown sequentially: each tree is grown using information
from previously grown trees.

GBDT的每棵树是依照顺序生成的(这个和RF全然不一样,RF并行生成就Ok),每棵树的生成都利用上之前生成的数留下的信息

The number of trees B. Unlike bagging and random forests, boostingcan overfit if B is too
large,

在GBDT中,树再多会过拟合的。

。(和RF不一样)

The number d of splits in each tree, which controls the complexity of the boosted ensemble.Often
d = 1 works well,

在树生成过程中,每一次分裂的时候。树深度为1时。效果最好(这个就是决策桩)

看完他们两个的差别之后,是不是认为他们全然不一样呢?

再来一个图:

在同样数据集上,Boosting主要比較树深度,而RF的參数主要是m....这样是不是更看出了他们的不同。

主要文字及图片參考

<An Introduction to Statistical Learning with Applications in R>

Random Forest 与 GBDT 的异同的更多相关文章

  1. 随机森林(Random Forest),决策树,bagging, boosting(Adaptive Boosting,GBDT)

    http://www.cnblogs.com/maybe2030/p/4585705.html 阅读目录 1 什么是随机森林? 2 随机森林的特点 3 随机森林的相关基础知识 4 随机森林的生成 5 ...

  2. Decision Tree、Random Forest、AdaBoost、GBDT

    原文地址:https://www.jianshu.com/p/d8ceeee66a6f Decision Tree 基本思想在于每次分裂节点时选取一个特征使得划分后得到的数据集尽可能纯. 划分标准 信 ...

  3. [Machine Learning & Algorithm] 随机森林(Random Forest)

    1 什么是随机森林? 作为新兴起的.高度灵活的一种机器学习算法,随机森林(Random Forest,简称RF)拥有广泛的应用前景,从市场营销到医疗保健保险,既可以用来做市场营销模拟的建模,统计客户来 ...

  4. 随机森林(Random Forest)

    阅读目录 1 什么是随机森林? 2 随机森林的特点 3 随机森林的相关基础知识 4 随机森林的生成 5 袋外错误率(oob error) 6 随机森林工作原理解释的一个简单例子 7 随机森林的Pyth ...

  5. [Machine Learning & Algorithm] 随机森林(Random Forest)-转载

    作者:Poll的笔记 博客出处:http://www.cnblogs.com/maybe2030/  阅读目录 1 什么是随机森林? 2 随机森林的特点 3 随机森林的相关基础知识 4 随机森林的生成 ...

  6. 随机森林(Random Forest,简称RF)

    阅读目录 1 什么是随机森林? 2 随机森林的特点 3 随机森林的相关基础知识 4 随机森林的生成 5 袋外错误率(oob error) 6 随机森林工作原理解释的一个简单例子 7 随机森林的Pyth ...

  7. 随机森林(Random Forest)详解(转)

    来源: Poll的笔记 cnblogs.com/maybe2030/p/4585705.html 1 什么是随机森林?   作为新兴起的.高度灵活的一种机器学习算法,随机森林(Random Fores ...

  8. 随机森林分类器(Random Forest)

    阅读目录 1 什么是随机森林? 2 随机森林的特点 3 随机森林的相关基础知识 4 随机森林的生成 5 袋外错误率(oob error) 6 随机森林工作原理解释的一个简单例子 7 随机森林的Pyth ...

  9. bagging,random forest,boosting(adaboost、GBDT),XGBoost小结

    Bagging 从原始样本集中抽取训练集.每轮从原始样本集中使用Bootstraping(有放回)的方法抽取n个训练样本(在训练集中,有些样本可能被多次抽取到,而有些样本可能一次都没有被抽中).共进行 ...

随机推荐

  1. 失误1: 把i放到循环体内部,i++失效

    54             while($lines_num_of_whole_table>=1){ 55                 my $i = 1;                 ...

  2. Mac 安装Fiddler 抓包工具

    官方安装文档https://www.telerik.com/download/fiddler/fiddler-osx-beta 如果输入mono Fiddler.exe报下面这个错误 WARNING: ...

  3. mysql时间的处理

    mysql中格式化时间为: 1,DATE_FORMAT(APPLYDATE,'%Y-%m-%d %H:%i:%S') AS APPLYDATE 2,DATE_FORMAT(CHKSIGNDATE, ' ...

  4. Spring框架针对dao层的jdbcTemplate操作之jdbc数据库连接原始操作方法 所需安装包下载

    crud指数据库或者持久层的基本操作,包括 增加(Create).读取查询(Retrieve 取回).更新(Update)和删除(Delete) Spring不仅对JDBC进行了封装,也对Hibern ...

  5. 文件默认权限umask掩码

    umask命令 作用:用于显示.设置文件的缺省权限 格式:umask   [-S] -S表示以rwx形式显示新建文件缺省权限 系统的默认掩码是0022 文件创建时的默认权限 = 0666 - umas ...

  6. Verdi:内存不足

    如果进行Verdi compile时,出现memory资源不够用.有可能case中出现了问题(或许发生了死循环,造成内存严重占用),此时尽量瘦身TC_FILE_LIST文件,缩小问题case的范围.

  7. 读书笔记之《编程小白的第1本Python入门书》

    本书电子版下载地址:百度网盘 写在前面:你需要这本书的原因 有没有那一个瞬间,让你想要放弃学习编程? 在我决心开始学编程的时候,我为自己制定了一个每天编程1小时的计划,那时候工作很忙,我只能等到晚上9 ...

  8. 数据库服务器的监控 赛门铁克 Veritas i3 APM 查找指定时间段最耗服务器资源的TopSQL

  9. Boolean.valueOf("true")的用法

    Boolean.valueOf(a);a为true时返回true不管大小写,a为其他值时都返回false:

  10. python012 Python3 编程第一步

    Python3 编程第一步在前面的教程中我们已经学习了一些 Python3 的基本语法知识,下面我们尝试来写一个斐波纳契数列.实例如下: #!/usr/bin/python3 # Fibonacci ...