Pairwise ranking methods: RankNet与LambdaRank

转自：http://blog.csdn.net/u014374284/article/details/49385065, 感谢分享!

LamdaMart 介绍见博客http://blog.csdn.net/huagong_adu/article/details/40710305，感谢分享！

在使用搜索引擎的过程中，对于某一Query(或关键字)，搜索引擎会找出许多与Query相关的URL，然后根据每个URL的特征向量对该URL与主题的相关性进行打分并决定最终URL的排序，其流程如下：

排序的好坏完全取决于模型的输出，而模型又由其参数决定，因而问题转换成了如何利用带label的训练数据去获得最优的模型参数w。Ranknet提供了一种基于Pairwise的训练方法，它最早由微软研究院的Chris Burges等人在2005年ICML上的一篇论文Learning to Rank Using Gradient Descent中提出，并被应用在微软的搜索引擎Bing当中。

代价函数

对于一个排序，RankNet从各个URL的相对关系来评价排序结果的好坏，排序的效果越好，那么有错误相对关系的pair就越少。所谓错误的相对关系即如果根据模型输出Ui

排在Uj

前面，但真实label为Ui

的相关性小于Uj

，那么就记一个错误pair，RankNet就是以错误的pair最少为优化目标。对于每一个pair，我们使用交叉熵来度量其预测代价，即：

Cij=−P¯¯¯ijlogPij−(1−P¯¯¯ij)log(1−Pij)

化简

Cij=−12(1+Sij)log11+e−σ(si−sj)−12(1−Sij)loge−σ(si−sj)1+e−σ(si−sj)=−12(1+Sij)log11+e−σ(si−sj)−12(1−Sij)[−σ(si−sj)+log11+e−σ(si−sj)]=12(1−Sij)σ(si−sj)+log(1+e−σ(si−sj))

下图展示了Cij

随P¯¯¯ij

、Pij

的变化情况：

图中t表示si−sj

，可以看到当Sij=1

时，模型预测的si

比sj

越大，其代价越小；Sij=−1

时，si

比sj

越小，代价越小；Sij=0

时，代价的最小值在si

与sj

相等处取得。该代价函数有以下特点：

当两个相关性不同的文档算出来的模型分数相同时，损失函数的值大于0，仍会对这对pair做惩罚，使他们的排序位置区分开
损失函数是一个类线性函数，可以有效减少异常样本数据对模型的影响，因此具有鲁棒性

总代价

C=∑(i,j)∈ICij

I表示所有URL pari的集合，且每个pair仅包含一次。

梯度下降迭代

我们获得了一个可微的代价函数，下面我们就可以用梯度下降法来迭代更新模型参数wk

了，即

wk→wk−η∂C∂wk

为步长，代价C

沿负梯度方向变化：

ΔC=∑k∂C∂wkΔwk=∑k∂C∂wk(η∂C∂wk)=−η∑k(∂C∂wk)2<0

这表明沿负梯度方向更新参数确实可以降低总代价。我们对∂C∂wk

继续分解

∂C∂wk=∑(i,j)∈I(∂Cij∂si∂si∂wk+∂Cij∂sj∂sj∂wk)

其中

∂Cij∂si=σ(12(1−Sij)−11+eσ(si−sj))=−∂Cij∂sj

我们令λij=∂Cij∂si=σ(12(1−Sij)−11+eσ(si−sj))

，有

∂C∂wk=∑(i,j)∈Iσ(12(1−Sij)−11+eσ(si−sj))(∂si∂wk−∂sj∂wk)=∑(i,j)∈Iλij(∂si∂wk−∂sj∂wk)=∑iλi∂si∂wk

下面我们来看看这个λi

是什么。前面讲过集合I中只包含label不同的URL的集合，且每个pair仅包含一次，即(Ui

,Uj

)与(Uj

,Ui

)等价。为方便起见，我们假设I中只包含(Ui

,Uj

)表示Ui

LambdaRank

上面我们介绍了以错误pair最少为优化目标的RankNet算法，然而许多时候仅以错误pair数来评价排序的好坏是不够的，像NDCG或者ERR等评价指标就只关注top k个结果的排序，当我们采用RankNet算法时，往往无法以这些指标为优化目标进行迭代，以下图为例：

图中每个线条表示一个URL，蓝色表示与Query相关的URL，灰色表示不相关的URL。下面我们用Error pair和NDCG分别来评估左右两个排序的好坏：

Error pair指标

对于排序1，排序错误的pair共13对，故cost=13

，分别为：
(2,15)、(3,15)、(4,15)、(5,15)、(6,15)、(7,15)、(8,15)、
(9,15)、(10,15)、(11,15)、(12,15)、(13,15)、(14,15)

对于排序2，排序错误的pair共11对，故cost=11

，分别为：
(1,4)、(2,4)、(3,4)
(1,10)、(2,10)、(3,10)、(5,10)、(6,10)、(7,10)、(8,10)、(9,10)

所以，从Error pair角度考虑，排序2要优于排序1
NDCG指标

排序1与排序2具有相同的maxDCG@16

,

maxDCG@16=21−1log(1+1)+21−1log(1+2)=1.63

对排序1，有

DCG@16=21−1log(1+1)+21−1log(1+15)=1.25

NDCG@16=DCG@16maxDCG@16=1.251.63=0.767

对排序2，有

DCG@16=21−1log(1+4)+21−1log(1+10)=0.72

NDCG@16=DCG@16maxDCG@16=0.721.63=0.442

所以，从NDCG指标来看，排序1要优于排序2。

那么我们是否能以RankNet的思路来优化像NDCG、ERR等不连续、不平滑的指标呢？答案是肯定，我们只需稍微改动一下RankNet的λij

的定义即可

λij=−σ1+eσ(si−sj)|ΔZij|

式中ΔZij

表示，将Ui

和Uj

交换位置后，待优化指标的变化，如ΔNDCG

就表是将Ui

和Uj

进行交换，交换后排序的NDCG

与交换前排序的NDCG

的差值，我们把改进后的算法称之为LambdaRank。

排序2中以箭头展示了RankNet和LambdaRank的下一轮迭代的调序方向和强度(箭头长度)，黑色箭头表示RankNet算法下U4和U10

的调序方向和强度，红色箭头表示以NDCG为优化目标的LambdaRank算法下的调序方向和强度。

以上就是我对RankNet和LambdaRank的理解，如有不对之处还请指正。

参考：
From RankNet to LambdaRank to LambdaMART: An Overview
http://blog.csdn.net/huagong_adu/article/details/40710305
http://www.cnblogs.com/kemaswill/p/kemaswill.html

http://www.cnblogs.com/LeftNotEasy/archive/2011/03/07/random-forest-and-gbdt.html