再看<MATLAB数据分析与挖掘实战>,简单总结下今天看到的经典的决策树算法——ID3. ID3:在决策树的各级节点上,使用信息增益的方法作为属性的选择标准,来帮助确定生成每个节点时所应采取的合适属性. 关于信息增益,知乎上这个回答也讲的很不错.信息增益=熵 - 条件熵,信息增益越大,说明该条件对事件确定性的影响越大.所以,在决策树中,我们将信息增益值作为测试属性.把测试属性取值相同的样本划为同一个子样本集. 基本流程: ·对当前样本,计算所有属性的信息增益,并将信息增益作为测试属性: ·若子…