Xgboost: 一把屠龙刀的自我修养
引言
集成学习, 在机器学习中是一个非常重要的思想: 把多个弱分类器精巧地组合在一起,成为一个很强大的学习器. 集成学习也因此一直处在风口浪边. 集成学习主要分为bagging 及boosting, 二者分别(主要)解决偏倚-方差分解中的方差与偏倚. 目前, 一般会认为boosting的效果会更好一些,故在这方面研究的就会多一些, 而陈天奇绝对是这一众人等的明星, 他携屠龙宝刀Xgboost 杀出重围, 莫敢争锋. xgboost在各大机器学习相关的竞赛中,文治武功,望尘莫及, 大有一统江湖之势… 这么'犀利'的一把利器, 如果不了解它, 是不是都不好意思自己是做机器学习, 人工智能的?
Xgboost 是boosting 学习方法的一种. 是对gbdt的改进升级. Xgboost 效果明显好于之前的boosting算法, 而且速度快, 更'可气的'是其竟支持并行计算, 这对工业界来说可是一个不小的福音. 这些优势成就了它今天的美名.
Xgboost
在介绍之前,先'初始化'一些'参数': 数据集 \(D = \{(x_i,y_i) | x_i\in R^m, \ \ y_i \in R \ \ i = 1,2,…,n\}\).
机器学习的目的是找到一个映射 f(x) 使得:
\[
L(y,\hat{y}) = L(y,f(x)) = \sum_{i = 1}^N L(y_i, f(x_i))
\]
最小化, 其中 \(\hat{y}\) 是经过模型得到的对 y 的估计, L 代表损失函数(Loss Function).
Boosting 解决上式的方法是采用前向分步算法, f(x) 是在训练过程中, 一步一步逐渐(组合)得到的:
\[
f(x) = w_0 + \sum_{k= 1}^K w_k b_k(x) = \sum_{k=1}^K t_k(x)
\]
其中, b(x) 是基学习器, w 是学习器的权重($w_0 $ 为偏置, 常取0,为简便,后面忽略, 因其为常数,对优化方式完全没有影响). 另, 再强调下:
\[f_k(x) = \sum_{j=1}^kw_jb_j(x)) = \sum_{j = 1}^k t_j(x)\]
有时 t(x) 也会乘上一个衰减因子(shrinkage), 通常为0.1, 这个衰减因子可过拟合(因如果过早到达最优附近, 很可能越过最优点, 导致表现下降).
(Ps: 请注意, 本文的符号表示,与xgboost的论文符号表示不尽相同, 原因是原论文的符号与我之前的boosting符号有冲突, 为了统一,只好修改了. 如果理解原理了, 用什么符号都无所谓了,对吧~ =^_^=)
在Xgboost中, 这里出现了第一次改进, 其思想也很自然, 即加上了正则项, 防止过拟合.
\[
f(x) = \sum_{k = 1}^K t_k(x ) + \sum_{k = 1}^K \Omega_k(t_k(x))
\]
其中 \(\Omega_k(t_k(x))\) 是第 k 步中的 \(t_k(x)\) 的正则项. 因这里的基学习器(通常)为CART, 故这里的 正则项可理解为对树的复杂度的惩罚, 树的复杂度可以用树的叶结点的个数及各个叶结点的权重表示, 陈给出下了面的一种形式:
\[
\Omega(t_k) = r T + \frac{1}{2} \lambda \sum_{ j= 1}^T c^2_j
\]
其中 T 为第 k 棵树的叶点结点个数, \(c_j\) 为此树上第 j 个叶结点上的权重(或称为 第 j 个叶结点的输出值). 这只是其中一种正则形式, 只要合理,完全可以用其他的代替.
这个改进确实很自然, 现在的机器学习的目标函数基本上都可以抽象为损失,正则项的组合:
\[
Object = Loss + Regulation
\]
在前向分步算法中, 第 k 步 的优化目标函数可表示为:
\[
\begin{array}\\
Object_k(\Theta) &=& L(y, f_k)+ \Omega(f_k) \\
&=& \sum_{i = 1}^N l(y_i,f_k(x_i)) + \Omega(f_k)\\
&=& \sum_{i=1}^Nl(y_i,f_{k-1}(x_i)+t_k(x_i)) + \sum_{j=1}^k\Omega(t_j)\\
&=& \sum_{i=1}^Nl(y_i,f_{k-1}(x_i)+t_k(x_i)) + \Omega(t_j) + constant\\
\end{array}
\]
其中 constant 表示常数(后面为简洁优化会忽略, 因常数对优化无影响).
接下来, xgboost在这里进一步改进, 传统的gradient boosting算法, 从名字就可以知道是应用的梯度(或一阶导数)优化的, 而xgboost 则用 牛顿法 来进行优化,即应用二阶导数优化:
\[
\begin{array}\\
Object_k(\Theta) &=& \sum_{i=1}^Nl(y_i,f_{k-1}(x_i)+t_k(x_i)) + \Omega(t_j) \\
& = & \sum_{i = 1}^N \left(l(y_i,f_{k-1}(x_i)) + g_{k,i} \cdot t_k(x_i) + \frac{1}{2}h_{k,i}\cdot t^2_k(x_i)\right) + \Omega(t_j) \\
\end{array}
\]
其中:
\[
\begin{array}\\
g_{k,i} = \frac{\partial l(y_i, f_{k-1}(x_i))}{\partial f_{k-1}(x_i)}\\
h_{k,i} = \frac{\partial^2 l(y_i, f_{k-1}(x_i))}{\partial f_{k-1}(x_i)^2}\\
\end{array}
\]
即一阶偏导与二阶偏导. 这里的展开,其实用到的就是泰勒公式的二阶展开:
\[
f(x) = f(x_0) + f'(x_0)(x-x_0) + \frac{1}{2}f''(x_0)(x-x_0)^2+ o((x-x_0)^2)
\]
其中 \(x_0\) 相当于面的\(f_{k-1}\), \(\Delta x = x-x_0\) 相当于 \(t_k(x)\).
忽略掉常数项, 并把正则项展开得:
\[
\begin{array}\\
Object_k(\Theta) & = & \sum_{i = 1}^N \left( g_{k,i} \cdot t_k(x_i) + \frac{1}{2}h_{k,i}\cdot t^2_k(x_i)\right) + rT_k+\frac{1}{2}\lambda\sum_{j=1}^T c^2_{k,j}\\
\end{array}
\]
\(t_k(x)\) 是 CART, 则 可表示为:
\[
t_k(x) = \sum_{j = 1}^T c_{k,j} \cdot I_{x \in R_j}
\]
其中, \(R_j\) 是 第 k 棵 CART 的 第 j 个节点, \(c_{k,j}\) 为此叶结点的输出值.
于是:
\[
\begin{array}\\
Object_k(\Theta) & = & \sum_{j = 1}^T \left[(\sum_{x\in R_j}g_{k,i})\cdot c_{k,j} +\frac{1}{2} (\sum_{x\in R_j} h_{k,j} + \lambda)\cdot c^2_{k,j}\right] + r T_k\\
\end{array}
\]
对\(c_{k,j}\) 求偏导:
\[
c_{k,j} = \frac{\sum_{x\in R_j}g_{k,i}}{\sum_{x\in R_j} h_{k,j} + \lambda} = \frac{G_{k,j}}{H_{k,j}+\lambda}
\]
这个公式揭示了最佳树结构的条件, 再代入目标函数:
\[
Obj = -\frac{1}{2}\sum_{j =1}^T \frac{G_{k,j}^2}{H_{k,j}+\lambda} + rT
\]
以上两式是Xgboost 最重要的公式! (因这两个公式不但是boosting 的generallized additive 的优化目标,而且也是每棵树获得的最优目标(gain)的关键.)
然而, 就算这样, 满足最优结构的树也可能有无数棵, 为此, 第 k 棵 CART 的获取采用贪心算法, 贪心的标准即是寻找最大分离增益(splitting Gain):
\[
Gain = \frac{1}{2}\left[ \frac{G_{L}^2}{H_{L}+\lambda}+ \frac{G_{R}^2}{H_{R}+\lambda} - \frac{G^2}{H+\lambda} \right] - r
\]
其中 L, R 分点表示分离之后的左右两叶结点, 无下标的 G,H 则属于未分离时结点的相关参数.
参考文献
- BoostedTree(slides), 2014, Tianqi Chen.
- XgBoost: A scalable Tree Boosting System
Xgboost: 一把屠龙刀的自我修养的更多相关文章
- IT技术管理者的自我修养
1. 前言 本来写<IT技术管理者的自我修养>与<IT技术人员的自我修养>是一开始就有的想法.但发表<IT技术人员的自我修养>后,收到了不少良好的反馈,博客园的编辑 ...
- 《web全栈工程师的自我修养》读书笔记
有幸读了yuguo<web全栈工程师的自我修养>,颇有收获,故在此对读到的内容加以整理,方便指导,同时再回顾一遍书中的内容. 概览 整本书叙述的是作者的成长经历,通过经验的分享,给新人或者 ...
- 程序员的自我修养(2)——计算机网络(转) good
相关文章:程序员的自我修养——操作系统篇 几乎所有的计算机程序,都会牵涉到网络通信.因此,了解计算机基础网络知识,对每一个程序员来说都是异常重要的. 本文在介绍一些基础网络知识的同时,给出了一些高质量 ...
- GIS制图人员的自我修养(2)--制图意识
GIS制图人员的自我修养(2)--制图意识 by 李远祥 上次提及到GIS制图人员的一些制图误区,主要是为GIS制图人员剖析在制图工作中的一些问题.但如何提高制图的自我修养,却是一个非常漫长的过程,这 ...
- GIS制图人员的自我修养(1)--制图误区
GIS制图人员的自我修养 by 李远祥 最近一直坚持写GIS制图的技术专题,并不是为了要介绍有什么好的技术和方法去制图,而是要告诉所有从事这一方向的人员一个铁铮铮的实现--要做好GIS制图,必须加强自 ...
- web性能优化 来自《web全栈工程师的自我修养》
最近在看<web全栈工程师的自我修养>一书,作者是来自腾讯的前端工程师.作者在做招聘前端的时候问应聘者web新能优化有什么了解和经验,应聘者思索后回答“在发布项目之前压缩css和 Java ...
- gcc ld 链接器相关知识,调试指令(程序员的自我修养----链接、装载与库)
最近解决一个动态链接上的问题,因为以前从来没有接触过这方面的知识,所以恶补了一下,首先要了解gcc编译指令(makefile),ld链接器的选项(还有连接脚本section指定内存位置),熟悉查看连接 ...
- Python学习笔记(四十九)爬虫的自我修养(一)
论一只爬虫的自我修养 URL的一般格式(带括号[]的为可选项): protocol://hostname[:port]/path/[;parameters][?query]#fragment URL由 ...
- Hacker的社交礼仪与自我修养【转】
Hacker School是位于纽约的一所特殊的编程“学校”,他们的目标是帮助参与者变成“更好的程序员”,之所以说他们特殊是因为这所“学校”没有老师,没有考试,也不会颁发证书,他们信奉三人行必有我师, ...
随机推荐
- echart tootip使用技巧
1.关于混合折线图tooltip显示不同单位 formatter: function (params){ return params[0].name + '<br/>' + params ...
- what's the 跳空
出自 MBA智库百科(https://wiki.mbalib.com/) 什么是跳空 跳空在日语中叫“窗口”,英语是“gap”,又称为即价格跳空,是指汇率在快速波动时产生的曲线的最低价与曲线的最高价之 ...
- final、finally、finalize区别
final final关键字可以用来修饰类,方法以及成员变量,当用在不同的场景下时具有不同的意义. 修饰类 如果修饰类,则代表这个类不可继承 修饰方法 如果修饰方法,则代表这个方法不可覆写:同时,允许 ...
- mybatis 转义
当我们需要通过xml格式处理sql语句时,经常会用到< ,<=,>,>=等符号,但是很容易引起xml格式的错误,这样会导致后台将xml字符串转换为xml文档时报错,从而导致程序 ...
- Spark Streaming之窗口函数和状态转换函数
流处理主要有3种应用场景:无状态操作.window操作.状态操作. reduceByKeyAndWindow import kafka.serializer.StringDecoder import ...
- k-means性能测试
clf = MiniBatchKMeans(n_clusters=5000, batch_size=5000, n_init=1, max_iter=200, max_no_improvement=1 ...
- 025-缓存Cache
如果每次进入页面的时候都查询数据库生成页面内容的话,如果访问量非常大,则网站性能会非常差.而如果只有第一次访问的时候才查询数据库生成页面内容,以后都直接输出内容,则能提高系统性能.这样无论有多少人访问 ...
- sql server 操作列
新增一列 ) 修改列类型: ) 修改列的名称: EXEC sp_rename 'tableName.column1' , 'column2' (把表名为tableName的column1列名修改为co ...
- armv8 memory translation
AArch32,arm的32bit架构: AArch64,arm的64bit架构: ARMv8.2-LPA,是armv8.2中的新feature,扩大了IPA和PA的支持范围,从48bit扩展到52b ...
- 213. House Robber II(动态规划)
You are a professional robber planning to rob houses along a street. Each house has a certain amount ...