《机器学习Python实现_10_09_集成学习_bagging_stacking原理及实现》

介绍

前面对模型的组合主要用了两种方式：

（1）一种是平均/投票；

（2）另外一种是加权平均/投票；

所以，我们有时就会陷入纠结，是平均的好，还是加权的好，那如果是加权，权重又该如何分配的好？如果我们在这些模型预测的结果上再训练一个模型对结果做预测，那么岂不是就免除了这些烦恼；而训练后，也可以方便的获取这些基分类器的权重（等价于下一层级模型的特征权重），且结果也更为客观！简单流程如下：

当然实际训练时回更加细致和复杂，比如：

（1）通常会对数据做\(k\)折切分，切分为\(k\)份，然后将每个基学习器扩展为\(k\)个基学习器，每个学习器学习\(k-1\)份训练数据；

（2）对分类器，预测结果通常会取概率分布，这样可以提取更多的信息；

（3）上面的结构还可以无限叠加，构建更加复杂的stacking结构，比如对新的拼接特征又训练几组基分类器，然后再组合...

stacking的代码实现，跳转>>>