提升方法-AdaBoost

提升方法通过改变训练样本的权重，学习多个分类器(弱分类器/基分类器)并将这些分类器进行线性组合，提高分类的性能。

AdaBoost算法的特点是不改变所给的训练数据，而不断改变训练数据权值的分布，使得训练数据在基本分类器的学习中起不同的作用。通过迭代每次学习一个基分类器，在迭代过程中提高那些被前一轮分类器错误分类数据的权值，降低那些被正确分类的数据的权值，最后将基分类器的线性组合作为强分类器。其中给分类误差率小的基分类器以大的权值，给分类误差率大的基分类器以小的权值，能不断以指数速率减小训练误差，即误分类率。

AdaBoost算法是模型为加法模型、损失函数为指数函数、学习算法为前向分布算法的二分类方法。