【阅读笔记】Ranking Relevance in Yahoo Search (四 / 完结篇)—— recency-sensitive ranking
7. RECENCY-SENSITIVE RANKING
作用:
为recency-sensitive的query提高排序质量;
对于这类query,用户不仅要相关的还需要最新的信息;
方法:recency-demoted relevance
1) 对每篇doc,按照它的freshness程度进行分级:very fresh, fresh, slightly out-dated, stale, 和 non-time-sensitive(与时间无关);
2) 在base relevance的基础上,根据freshness进一步调整relevance:
VF | F | SO | S | NT | |
Perfect | Perfect | Perfect | Excellent | Good | Perfect |
Excellent | Perfect | Excellent | Good | Fair | Excellent |
Good | Good | Good | Fair | Bad | Good |
Fair | Fair | Fair | Bad | Bad | Fair |
Bad | Bad | Bad | Bad | Bad | Bad |
3)数据:“收集training data”
- 寻找大量的近期标签是不太可能的事情,因为近期的标签总是很快就out of data;
- 因此需要利用a large relevance dataset without recency labels and a small recency dataset for building the recency ranker;
4)公式:(待添加)
备注:
- 其中freshness组件是基于recency dataset训练得到的:通过time-sensitive classifier来决定此component是否要被添加;
- frel(x)代表基本的ranker;rfresh(x)代表freshness组件;cts代表time-sensitivity分类器;
- 仅当Cts表明x为time-sensitive query-url对时,rfresh(x)才被添加;
重点:time-sensitive classifier的训练;freshness component;
1) time-sensitive classifier
use the recency dataset and transform the freshness labels into binary labels (eg:non-time-sensitive to negative and other labels to positive) and train a binary classfier;
2)build rfresh(x)
use the frel(x) as the base ranker, and add more trees to optimize the goal of recency-demoted relevance;
8. LOCATION-SENSITIVE RANKING
location-sensitive query:
一些query的搜索结果与location关系密切,此类query我们称之为location-sensitive queries, 分为:
explicit local query - queries with specific location names(eg:"restaurants Boston");
implicit local query - queries without location but with location-sensitive intention(eg:"restaurant");
方法:通过query和url直接的距离d(query, url)来计算;
但如果使用过去的learning-to-rank模型的话,d(query, url)特征的影响不大,所以新建以下模型用来计算 -
模型:location boosting rankin model
1)分别从query和web page中提取出location:
- explicit local query - directly parse the location in explicit local query;
- implicit local query - use use's location;
- web pages - extracted based on the query-url click graph from search logs,or parse the locations from urls directly;
2)根据各自的location,计算query和web page之间的距离:
公式(待加)
以上logistic function考虑到base relevance和location之间的距离两个因素:
- 当doc的url地址和用户很接近,而且doc的内容也和query匹配时,对该doc进行提权操作;
- 若doc的url地址和用户很接近,但是doc的内容与query不相关,将不对该doc提权,ranking结果此时仅有base ranking function决定;
- 若doc的内容与query相关度很高,但doc的url地址与用户相隔很远,将不对该doc提权,ranking结果此时仅有base ranking function决定;
备注:
d^(query,url)代表d(query,url)的归一化,范围为[0,1];
fb(x)表示基于base ranking function得到的query和url的相关度;
3)参数的确定:
参数w, α, β通过以下公式由成对的数据确定 -
公式(待加)
备注:
其中P={(pi, pj)| pi > pj}是对于同一个query的一系列url pairs,pi > pj表示pi的相关性好于pj;
我们通过standard gradient descent approach来得到参数的最优化结果;
9. CONCLUSION
In this paper, we introduce the comprehensive relevance solutions of Yahoo search.
【阅读笔记】Ranking Relevance in Yahoo Search (四 / 完结篇)—— recency-sensitive ranking的更多相关文章
- 【阅读笔记】Ranking Relevance in Yahoo Search (二)—— maching learned ranking
3. MACHINE LEARNED RANKING 1) 完全使用不好的数据去训练模型不可行,因为负面结果不可能覆盖到所有方面: 2) 搜索可以看做是个二分问题,在此实验中,我们使用gradient ...
- 【阅读笔记】Ranking Relevance in Yahoo Search (一)—— introduction & background
ABSTRACT: 此文在相关性方面介绍三项关键技术:ranking functions, semantic matching features, query rewriting: 此文内容基于拥有百 ...
- 【阅读笔记】Ranking Relevance in Yahoo Search (三)—— query rewriting
5. QUERY REWRITING 作用: query rewriting is the task of altering a given query so that it will get bet ...
- Ranking relevance in yahoo search (2016)论文阅读
文章链接 https://www.kdd.org/kdd2016/papers/files/adf0361-yinA.pdf abstract 点击特征在长尾query上的稀疏性问题 基础相关性三大技 ...
- 短信发送接口被恶意访问的网络攻击事件(四)完结篇--搭建WAF清理战场
前言 短信发送接口被恶意访问的网络攻击事件(一)紧张的遭遇战险胜 短信发送接口被恶意访问的网络攻击事件(二)肉搏战-阻止恶意请求 短信发送接口被恶意访问的网络攻击事件(三)定位恶意IP的日志分析脚本 ...
- Hadoop阅读笔记(四)——一幅图看透MapReduce机制
时至今日,已然看到第十章,似乎越是焦躁什么时候能翻完这本圣经的时候也让自己变得更加浮躁,想想后面还有一半的行程没走,我觉得这样“有口无心”的学习方式是不奏效的,或者是收效甚微的.如果有幸能有大牛路过, ...
- Mina源码阅读笔记(四)—Mina的连接IoConnector2
接着Mina源码阅读笔记(四)-Mina的连接IoConnector1,,我们继续: AbstractIoAcceptor: 001 package org.apache.mina.core.rewr ...
- Kafka 权威指南阅读笔记(第三章,第四章)
Kafka 第三章,第四章阅读笔记 Kafka 发送消息有三种方式:不关心结果的,同步方式,异步方式. Kafka 的异常主要有两类:一种是可重试异常,一种是无需重试异常. 生产者的配置: acks ...
- C++ Primer 第四版阅读笔记
阅读笔记 初始化 变量定义指定了变量的类型和标识符,也可以为对象提供初始值.定义时指定了初始值的对象被称为是 已初始化的.C++ 支持两种初始化变量的形式:复制初始化和 直接初始化.复制初始化语法用等 ...
随机推荐
- Scratch 第1课 让小猫动起来
素材下载 链接:https://pan.baidu.com/s/1qX0T2B_zczcLaCCpiRrsnA提取码:xfp8
- 微信小程序mpvue-动态改变navigationBarTitleText值
通过JS动态 改变navigationBarTitleText的值 能否通过JS动态改变navigationBarTitleText的值? 方法一:可以在onLoad方法中通过wx.setNaviga ...
- Hadoop安装教程_单机(含Java、ssh安装配置)
文章更新于:2020-3-24 按照惯例,需要的文件附上链接放在文首 文件名:Java SE Development Kit 8u241 文件大小:72 MB+ 下载链接:https://www.or ...
- MTK Android Git提取出两个版本之间的差异文件并打包
git提取出两个版本之间的差异文件并打包 首先你得知道版本之间的commit id git log –pretty=oneline $ git log --pretty=oneline 1 差异文件并 ...
- Flask 入门(十二)
Blueprint ,听说过么? 那必须的啊!但它是干嗒的?也不难理解! 如果你的项目是一个公司,Blueprint就是治理你的公司的 没有Blueprint,你的公司除了老板就是员公 有了Bluep ...
- Python 1基础语法三(变量和标识符的区别)
一.字面量: 就是一个一个的值,如1.2.3.‘world’,就是它自己本身表达的字面值.字面意思,在程序中可以直接使用. 二.变量(variable): 可以用来保存字面量,变量本身没有任何意思:如 ...
- SQL基础系列(3)-变量、函数、存储过程等
1. 变量 定义变量 DECLARE @a INT 赋值 PRINT @a ) --select 赋值 SELECT @name='zcx' PRINT @name SELECT @name=F ...
- c++缓冲区 vBufferChar.hpp
//vbuffer_char.hpp //vov #ifndef V_BUFFER_CHAR_HPP #define V_BUFFER_CHAR_HPP #include <iostream&g ...
- 字符串的常用操作和方法(Python入门教程)
字符串的常用操作 很好理解 字符串可以用 ' + ' 连接,或者乘一个常数重复输出字符串 字符串的索引操作 通过一对中括号可以找到字符串中的某个字符 可以通过正负数双向操作噢 用一个中括号来实现 为什 ...
- Daily Scrum 12/17/2015
Process: Zhaoyang:完成了相册图片的异步加载. Yandong&Dong: 对Azure的体系架构进行学习和相应的编程. Fuchen: 对Oxford计划中的NLP接 ...