随机森林（Random Forests）

简单地看了一些入门的资料。

随机森林似乎和CART有些联系。

随机森林的算法步骤：

1. 利用自助法（Bootstrap）从原始训练集中生成k个自助样本集，每个自助样本集是每棵分类树的全部训练数据。自助法（Bootstrap）：从原始的样本容量为N的训练集合中随机抽取N个样本生成新的训练集，抽样的方法是有放回的。这样的抽样方式有可能造成新的训练集中存在重复的样本。
2. 每个自助样本集生长为单棵分类树。在树的每个节点从M个特征中随机挑选m个特征（mm），利用这m个特征，按照节点不纯度最小的原则选取特征进行分支，不进行剪枝，直到建树完成。
3. 根据生成的k个分类树对新的数据进行预测，分类结果由k个分类树决定。例如取k个树的投票最多的结果或者所有树投票结果的平均。

参考链接：

http://wenku.baidu.com/link?url=pNZnhrRnTJX3noSLXuq-UFisXvzKnsWcNH-f_-p8SeImWYKiYjd3iSV5qdurbB8VdNqVbZmUPmTf-svpXG0MaKTXalNcXz1USjmb8KcRl6e

http://mp.weixin.qq.com/s?__biz=MjM5MTQzNzU2NA==&mid=2651640650&idx=1&sn=c905406e294cf2df5dcc2a3497ac3889&scene=1&srcid=0419FvKVmjfkBnm7Wt36f83z#rd

http://blog.jobbole.com/92021/