决策树purity/基尼系数/信息增益 Decision Trees

目录

• 决策树简单描述
• 衡量purity的三种方法
  • Gini Coefficient
  • Entropy熵

决策树简单描述

决策树的样子大概是这个样子的：

选择一个特征作为根节点，把这个特征划分成两个孩子节点，每个孩子节点就是原始数据集的子集，然后再找一个特征作为划分……

---

划分的好坏，如图所示：

用纯度Purity来衡量划分的效果，如果划分的好，那么每一个子集都是某一类占据大多数，如果每一个子集都是跟父节点一样的状态，那么就是Low purity。

一个好的划分要满足下面两个特点：

1. 划分是High purity
2. 划分产生的两个子节点的样本数量相近，避免产生非常小的子集。

决策树的终止条件：

1. 树的深度到达一定条件；
2. 每一个节点中的样本数量到达一个下线
3. 不会再有划分，可以增加节点的purity了

衡量purity的三种方法

有不同的衡量purity的方法，不同的衡量方法会导致不同的分裂。

Gini Coefficient

• Pr(k)是一个样本属于类别K的概率；
• C就是类别的总数

---

GINI系数的计算方法：

---

Entropy熵

可以看出来，GINI系数是类别的概率乘上类别的概率，而熵是类别的概率呈上类别概率的logarithm

• GINI的取值范围是0.5~1，越大越purity；
• Entropy的取值范围是0~1，越小越purity
  
  介绍完了熵，那么什么是信息增益：
  
  是要最大化的信息增益：
  
  
  
  因为Entropy取值范围是0就purity，所以information gain越大，那么说明分割的purity越好。

---

看一下Entropy的计算方法：