融合模型Aggregation

从一堆弱分类器融合得到强分类器。

比如假设现在你只能水平或竖直线分割，那么无论如何都分不好，但是假设组合三次分割，就会得到如图所示的一个较好的分割线。

再比如，PLA 融合后有large margin 的效果

几种可能的融合策略：

1.Uniform Blending 一人一票，权值相同。

理论保证：

G 的 期望误差比g的平均期望来的小

把演算法的误差拆分为 bias 和 varriance

bias:平均表现离真实值差多少

variance:这些一个个的模型表现有多乱

所以融合减少了variance

2.Linear Blending

不同的g给不同的票数。

就是把Linear model用在转化过的假设h(theta x)上。

没看懂在干啥。。。

3.Bagging

bagging是一个uniform aggregation 的例子。

怎么样产生不同的小g?

不同算法的集成；

同一算法在不同设置下的集成；

数据集不同部分分配给不同分类器之后的集成。

随机森林就是一种bagging

booststrapping: 从手上的资料模拟出新的资料。

有放回抽样。不同的样本得到不同的g，最后融合。

就是所谓的bagging,透过booststrapping的机制生成不同的g，然后使用uniform blending进行融合。

总结：

AdaBoost http://www.cnblogs.com/futurehau/p/6490467.html

Bagging 上文

Decision Tree http://www.cnblogs.com/futurehau/p/6117992.html