[IR课程笔记]概率检索模型

几个符号意义：

R：相关文档集

NR：不相关文档集

q:用户查询

d_j：文档j

1/0风险情况

PRP（probability ranking principle）：概率排序原理，利用概率模型来估计每篇文档和需求相关概率，然后对结果进行排序。

贝叶斯最优决策原理，基于最小损失风险作出决策，返回相关的可能性大于不相关的可能性的文档：

基于检索代价的概率排序原理：

c_rrP(R|D) + c_rnP(NR|D) < c_nrP(R|D) + c_nnP(NR|D)

如何计算概率

文档d可以表示为向量（d_1,d₂,...,d_n）

p_i = P(d_i=1|R)       1-p_i =  P(d_i=0|R)

q_i = P(d_i=1|NR)     1-q_i =  P(d_i=0|NR)

对这个式子取对数：

如何得到初始的R和NR

p_i=c     ,        c通常取0.5

q_i=n_i/N          n_i表示有d_i出现的文档的个数，N表示整个文档集数量。

improve it：

对一个查询q,根据初始的R和NR，可以得到前k个返回结果。然后把这k个结果加入R集中。此时，概率计算方法为：

p_i = P(d_i | R) = s_i / t

q_i = P(d_i | NR) = (n_i - s_i) / (N - t)

si表示的是t个文档中包含d_i的个数

平滑

p_i  =  (s_i+0.5)/(t+1)

q_i  =  ((n_i - s_i+0.5) / (N - t+1))

加权

将上式的d_i换成w_i.d_i表示词语d_i出现则为1，不出现则为0

BM25加权方法