bagging与boosting集成学习、随机森林

主要内容：

一.bagging、boosting集成学习

二.随机森林

一.bagging、boosting集成学习

1.bagging：

从原始样本集中独立地进行k轮抽取，生成训练集。每轮从原始样本集中使用Bootstraping方法抽取（即又放回地抽取）n个样本点（样本集与训练集的大小同为n。在一个训练集中，有些样本可能被多次抽取到，而有些样本可能一次都没有被抽中）。最后得到得到k个独立的训练集，然后利用这k个训练集去训练k个分类器。将输入数据输入到这k个分类器中，得到k个结果，最后再以投票的方式（即每个分类器的权重相等）决定最后的分类。

2.boosting：

使用一个训练集，将这个训练集串行地输入到k个分类器当中。对于当前分类器（假设训练集已经在前面经过了若干个分类器），它重点关注那些之前被错误分类的样本点，做法是增大这些错分样本点的权重。在最后的决策中，与bagging不同的是：boosting中的分类器的权重并不相等，而是正确率越高的分类器其权重越大。

3.bagging与boosting的不同：

1）样本选择上：

Bagging：训练集是在原始集中有放回选取的，从原始集中选出的各轮训练集之间是独立的.

Boosting：每一轮的训练集不变，只是训练集中每个样例在分类器中的权重发生变化.而权值是根据上一轮的分类结果进行调整.

2）样例权重：

Bagging：使用均匀取样，每个样例的权重相等

Boosting：根据错误率不断调整样例的权值，错误率越大则权重越大.

3）预测函数：

Bagging：所有预测函数的权重相等.

Boosting：每个弱分类器都有相应的权重，对于分类误差小的分类器会有更大的权重.

4）并行计算：

Bagging：各个预测函数可以并行生成

Boosting：各个预测函数只能顺序生成，因为后一个模型参数需要前一轮模型的结果.

二.随机森林

随机森林，就是bagging方法下的k棵决策树，只不过在选取分割特征的时候加入了随机性。其具体算法如下：

1）从原始训练集中使用Bootstraping方法随机有放回采样选出m个样本，共进行n_tree次采样，生成n_tree个训练集。

2）对于n_tree个训练集，分别训练n_tree个决策树模型。

3）对于单个决策树模型，假设训练样本特征的个数为n，那么每次从中随机抽取出一个大小为m(1<=m<=n)的特征子集，分裂时根据信息增益/信息增益比/基尼指数等等，在这个特征子集中选择最好的特征进行分裂。

4）每棵树都一直这样分裂下去，直到该节点的所有训练样例都属于同一类。

5）将生成的多棵决策树组成随机森林。