机器学习技法总结（六）Decision Tree Hypothesis

这里先再次提出我们利用aggregation获取更好性能的Hypothesis G所涉及的方法：blending，就是在得到g_set之后进行融合；learning呢？就是在线online的获取g并融合。以下就是关于整个aggregation所涉及到的方法总结：

当中Bagging、AdaBoost我们都已经探讨。它们各自是基于uniform(voting / average)和non-uniform(linear)的aggregation type，那么以下就開始介绍一个基于conditional的learning model：decision tree（决策树）。

它实际上是模仿人类的决策过程。在C语言中很常见的if...else...语句就能够看作是很easy的decision tree。看我们怎样利用aggregation进行演进，例如以下图，我们希望internal nodes（内部的决策过程）都要很easy。从入口处将状况进行分开为不同的branch，Gc(x)作为一个独立的Sub-Tree。就是把一颗大Tree。配合上分支条件，分拆为小点的树，实际上就是一个递归结构的定义。tree = （root, sub-trees），root根部告诉我们怎样做branch。

另外对于Decision Tree有些优点和坏处，这里先给出。有一个大致的定位，例如以下图：

那么一个主要的decision tree演算法就应该例如以下：（採用递归的结构）。全部的资料送入作出一个大的树，root。sub-tree，然后再对sub-tree进行分解，一直到sub-tree不能再分。就是碰到了叶子（leaf）后就逐级回传，最后合成大的decision tree。

一个典型的决策树：C&RT:classification and Regression Tree。1）将branch分支为2元树（binary tree）。2）leaf级的hypothesis是g = Ein-optimal constant (常数)。3）内部节点：就直接用decision stump；4）利用全部可能的decision stump来计算其纯度（purity），最大的purity作为终于的decision
stump（branching by purifying）

那么纯度的衡量都有哪些呢？

那么演算法什么时候停止呢？到全部的purity=1时。能够回传一个常数了；或者是全部的xn都一样时。也就说没有了decision stump了。

这样的是叫作强制停止。有个特点：叶子回传的是一个常数。

所以，主要的C&RT算法例如以下。能够非常easy做多类分类。

假设我们将树叶覆盖全部的数据，那么Ein非常有可能就变成0了，这样我们非常可能出现overfitting的现象。那又该如何做呢？对。 regularization！：让叶子节点变得少，就有可能控制模型复杂度。可是我们找全部可能的 tree，这有可能非常多。计算量比較大，那么假设我们利用C&RT得到一个fully-grown tree之后。比方是10个叶子，我们能够依次去掉一片叶子来得到10个砍掉的树，这样来进行Regularization可能是实用的。

如何选择lambda呢？

先讨论一下decision stump的输入特征都有哪些种，这将决定我们怎样利用decision stump进行分割。假设是数字特征，那么非常easy就是简单的decision stump，那么假设特征是categorical features时，能够利用decision subset进行处理。所以C&RT都能够处理。

假设有些特征丢失了，该怎么办呢？我们假设类比人的方法：就是类比。就是说，比方人的身高与体重有一定的关系，weight<50 == height < 150，就这样用替代的特征进行；所以C&RT可以处理丢失的特征；

最后举出一些样例来更加形象的了解Decision Tree这个模型的工作机制，跟AdaBoost-decision stump中的解说类似，相同先从简单的样例入手：

就是逐渐的递归地把树给展开。那么与AdaBoost有和区别呢？

能够非常清楚的看到，Decision Tree是一种有condition的分割，而AdaBoost则是全平面的分割，这样相比着decision tree就会有更加细腻的边界线，可是相比着AdaBoost VC bound的理论上的upper bound的限制，decision tree则没有那么多的理论上的解释，所以须要显式的regularization，而AdaBoost则不须要。

那么再看在复杂样本上的表现吧：

C&RT方法的特点例如以下总结。

不同的decision tree的演算法不同之处可能就是在于怎样regularization即怎样砍树叶子（pruning）。或者某些点上的处理不同而已。

以下可能要做的就是把C&RT算法基于上面的样例进行实现。并于AdaBoost-stump进行对照，以加深对Decision Tree的理论上的理解。

*****************************************************随时学习。随时分享******************************************************