集成学习ensemble

集成学习里面在不知道g的情况下边学习边融合有两大派：Bagging和Boosting，每一派都有其代表性算法，这里给出一个大纲。

先来说下Bagging和Boosting之间的相同点：都是不知道g，和blending的区别在于blending手里有已知的g，所以需要边学习g边融合。都需要先做bootstrap，然后再投票。

先来说下Bagging和Boosting之间的区别：bagging methods work best with strong and complex models (e.g., fully developed decision trees), in contrast with boosting methods which usually work best with weak models (e.g., shallow decision trees).

Boosting比Bagging理论上更高级点，它也是揽来一把的分类器。但是把他们线性排列。下一个分类器把上一个分类器分类得不好的地方加上更高的权重，这样下一个分类器就能在这个部分学得更加“深刻”。

在说下不同Bagging方法之间的区别：有些子样本是子集，有些子样本是特征。

Bagging-Classifier和Regressor

　　Bagging

　　RandomForest

Boosting-Classifier和Regressor

　　AdaBoost

　　GradientBoosting