两篇将rf和boosting方法用在搜索排序上的paper

在网上看到关于排序学习的早期文章，这两篇文章大致都使用了Random Forest和Boosting方法。

一.paper

1.Web-Search Ranking with Initialized Gradient Boosted Regression Trees，2011

主要将Random Forests(RF)和Gradient Boosted Regression Trees(GBRT)做了一个sequence的combine.他们用RF得到了非常不错的效果，甚至比GBRT还要好。他们最后所用的方法是先用RF学习一个ranking function, 用这个ranking function的输出去初始化GBRT，做一个sequence 的combine, combine的结果要比他们单独的结果都要好。他们最后分析也认为，分类能比回归得到更好的效果，这个结论和[7]相同，很值得尝试。从他们的结果看，RF和GBRT的combine还是很有意义的，RF的一些优点在最后的model中都有体现，比如对parameter choice不敏感，不容易过拟合等。RF和GBRT的combine也解决了一个GBRT的缺点，因为GBRT是一个gradient boosting的方法，这一类方法存在一个trade-off, 就是step size和迭代轮数之间。如果要达到真正的global minimum, step size就必须很小，迭代轮数就必须增大，通过与RF的combine，对这个问题有所缓解，RF给了GBRT一个接近终点的start point, 这样即使step size比较小，也能比较快的结束迭代。

(1).rf

(2).gbrt

(3).使用rf初始化gbrt

2.Generalized BROOF-L2R: A General Framework for Learning to Rank Based on Boosting and Random Forests，2016

这篇文章的作者来自巴西的University Federal of Minas Gerais。文章的核心思想非常直观，就是要把Boosting和Random Forest（RF）结合起来做Learning to Rank。有这样想法的人过去也有不少，已经有了很多类似思路。这篇文章的思路是使用RF来做Weak Learner，然后用Boosting的想法把这些Weak Learner串起来。

当然，文章不是仅仅限于这么一个简单的思路，而是提出了一个叫BROOF的框架，很多算法的变种都可以在这个框架里实现。比如Weak Learner的Weight如何确定，是否选择使用Validation Set等，有兴趣的读者可以去看看文章的细节。

文章比较了提出的框架和很多知名算法的性能，比如AdaRank、LambdaRank、RankSVM等等。选用的数据集是LETOR 2003、2004和Yahoo Learning to Rank数据集。结果还是比较引人注目的，基本上在所有的数据集上，提出的算法性能不是最好，就是和最好的算法持平。

这篇文章的另外一个亮点是Related Work，对于Boosting或者RF在Learning to Rank里的应用有兴趣的读者，建议好好看看Related Work里的文献。

---------------------
原文：http://www.cnblogs.com/zjgtan/p/3652689.html
原文：https://blog.csdn.net/heyc861221/article/details/80127850