【阅读笔记】Ranking Relevance in Yahoo Search (三)—— query rewriting
5. QUERY REWRITING
作用:
- query rewriting is the task of altering a given query so that it will get better results and, more importantly, to help solve the recall problem.
- can treat it as a machine translation problem: language of user queries(S) <=> language of web documents(T)
5.1 Methodology
两个阶段:
- learning phase: learns phrase-level translations from queries to documents;
- decoding phase: generates candidates for a given query;
Learning Phase =>
此阶段存在的困难:获取大量query - 可以提高相关度的rewritten query训练数据;
困难原因:1)好的翻译模型需要超大量的双语文本;2)编辑不能很好的选择什么样的query可以提高相关性;
解决方案:
- 使用click graphs(加权无向图:queries和doc是nodes,edges代表queries和document的点击,权重是点击数)
- 使用文章title作为对应的rewritten query(因为相对于文章body,文章title与query更加相似)
- 根据得到的query-title配对,we follow the common steps for a typical phrase-based matching translation framework to learn phrase-level translations;
Decoding Phase =>
作用:
每个query(q)都有很多分词的方法得到多个phrase,而且每个phrase都有很多translation,这导致将出现成百上千的候选rewritten_query;
=》decoding phase将在这些候选词中挑出最可靠的rewritten_query(qw);
公式:(待添加)
hi(qc,q)代表第i个feature function;λi指定该function的权重,λi可以被人工指定或者通过loss function学习得到;
特征函数:
对于每对(qc,q),本论文包含3种类型的feature function:Query feature functions, Rewrite query feature functions, Pair feature functions;
(Query feature functions)
h1 - number of words in q;h2 - number of stop words in q;h3 - language model score of the query q;h4 - query frequency of q;h5 - average length of words in q;
(Rewrite query feature functions)
h6 - number of words in qc;h7 - number of stop words in qc;h8 - language model score of the query qc;h9 - query frequency of qc;h10 - average length of words in qc;
(Pair feature functions)
h11 - Jaccard similarity of URLs shared by q and qc in the query-URL graph;
h12 - difference between the frequencies of q and qc;
h13 - word-level cosine“余弦” similarity between q and qc;
h14 - difference between the number of words between q and qc;
h15 - number of common words in q and qc;
h16 - difference of language model scores between q and qc;
h17 - difference of the number of stop words between q and qc;
h18 - difference of the average length of words between q and qc;
=》经实验,发现h11, h12, h13是最重要的三个feature functions;
5.2 Ranking Strategy
根据original query和rewritten query,有两种排序策略:
Replace the original query with the rewritten query (未采用)=>
评估:直接采用replace的方式很冒险,一些低质量的rewrites会对相关度造成负面影响;
Blending mode(采用) =>
方法:
1)分别使用original query(q)和rewritten query(qc)从搜索引擎中获取top-N个文档,并记录下两次获得的文档的序列和分值(O, R);
2)从O和R中取交集:若文档D同时出现在O和R中,D的最终分数未max(O, R);
3)在此基础上根据各文档的分值进行排序,选择top-N作为original query搜索的最终结果;
两种排序策略的评估:
两种方法都能对tail query的搜索相关度进行显著的提高;
但是由于rewritten query可能改变original query的目的,Replace策略的结果不如Blending Mode的好;
【阅读笔记】Ranking Relevance in Yahoo Search (三)—— query rewriting的更多相关文章
- 【阅读笔记】Ranking Relevance in Yahoo Search (一)—— introduction & background
ABSTRACT: 此文在相关性方面介绍三项关键技术:ranking functions, semantic matching features, query rewriting: 此文内容基于拥有百 ...
- 【阅读笔记】Ranking Relevance in Yahoo Search (四 / 完结篇)—— recency-sensitive ranking
7. RECENCY-SENSITIVE RANKING 作用: 为recency-sensitive的query提高排序质量: 对于这类query,用户不仅要相关的还需要最新的信息: 方法:rece ...
- Ranking relevance in yahoo search (2016)论文阅读
文章链接 https://www.kdd.org/kdd2016/papers/files/adf0361-yinA.pdf abstract 点击特征在长尾query上的稀疏性问题 基础相关性三大技 ...
- 【阅读笔记】Ranking Relevance in Yahoo Search (二)—— maching learned ranking
3. MACHINE LEARNED RANKING 1) 完全使用不好的数据去训练模型不可行,因为负面结果不可能覆盖到所有方面: 2) 搜索可以看做是个二分问题,在此实验中,我们使用gradient ...
- Hadoop阅读笔记(三)——深入MapReduce排序和单表连接
继上篇了解了使用MapReduce计算平均数以及去重后,我们再来一探MapReduce在排序以及单表关联上的处理方法.在MapReduce系列的第一篇就有说过,MapReduce不仅是一种分布式的计算 ...
- 【unix网络编程第三版】阅读笔记(五):I/O复用:select和poll函数
本博文主要针对UNP一书中的第六章内容来聊聊I/O复用技术以及其在网络编程中的实现 1. I/O复用技术 I/O多路复用是指内核一旦发现进程指定的一个或者多个I/O条件准备就绪,它就通知该进程.I/O ...
- 【unix网络编程第三版】阅读笔记(二):套接字编程简介
unp第二章主要将了TCP和UDP的简介,这些在<TCP/IP详解>和<计算机网络>等书中有很多细致的讲解,可以参考本人的这篇博客[计算机网络 第五版]阅读笔记之五:运输层,这 ...
- 《大象Think in UML》阅读笔记(三)
Think in UML 阅读笔记(三) 把从现实世界中记录下来的原始需求信息,再换成一种可以知道开发的表达方式.UML通过被称为之概念化的过程来建立适合计算机理解和实现的模型,这个模型被称为分析模型 ...
- Kafka 权威指南阅读笔记(第三章,第四章)
Kafka 第三章,第四章阅读笔记 Kafka 发送消息有三种方式:不关心结果的,同步方式,异步方式. Kafka 的异常主要有两类:一种是可重试异常,一种是无需重试异常. 生产者的配置: acks ...
随机推荐
- 11. SpringCloud实战项目-初始化数据库和表
SpringCloud实战项目全套学习教程连载中 PassJava 学习教程 简介 PassJava-Learning项目是PassJava(佳必过)项目的学习教程.对架构.业务.技术要点进行讲解. ...
- javascript入门 之 zTree (一)
1.安装: 我用的bower工具,所以执行: bower install ztree 2.详细功能与配制,请考官方文档: http://www.treejs.cn/v3/main.php#_zTree ...
- 基础类封装-Requests库封装
#!/usr/bin/env python3 # -*- coding: utf-8 -*- # @Time : 2020/03/18 23:37 # @Author : Tang Yiwei # @ ...
- C语言实现双向链表
目前我们所学到的链表,无论是动态链表还是静态链表,表中各节点中都只包含一个指针(游标),且都统一指向直接后继节点,通常称这类链表为单向链表(或单链表). 虽然使用单链表能 100% 解决逻辑关系为 & ...
- 了解一下mock
1.mock简介: mock测试就是在测试过程中,对于某些不容易构成或者不容易获取的对象,用一个虚拟的对象来创建以便测试的测试方法,mock是在测试过程中,对于一些不容易构造/获取的对象,创建一个mo ...
- 小程序wepy2 模拟vant PasswordInput, NumberKeyboard 密码输入框控件
vant weapp小程序端控件目前是没有PasswordInput,NumberKeyboard的.实现效果: 数字键盘组件代码(keyboard.wpy): <template> &l ...
- 【FreeMarker】【程序开发】数据模型,对象包装
[FreeMarker][程序开发]数据模型,对象包装 分类: Java.FreeMarker2014-10-25 18:49 413人阅读 评论(0) 收藏 举报 FreeMarker 目录(? ...
- 数据表记录包含表索引和数值(int范围的整数),请对表索引相同的记录进行合并,即将相同索引的数值进行求和运算,输出按照key值升序进行输出
此题如果直接使用有序的TreeMap就不需要这样折腾: 1.map的key值唯一性,故就不在需要set集合来去重 2.使用map后利用key的唯一性,把序列号相同的数据直接加在一起,代码会很简洁 pa ...
- 最长公共子窜和最长公共子序列(LCS)
他们都是用dp做;复杂度都是O(N方) 有一个大佬的博客写的很详细,是关于最长公共子序列的:https://blog.csdn.net/hrn1216/article/details/51534607 ...
- 用threejs实现三维全景图
网络上看到了3D全景图,发现threejs里面有一个库竟然可以实现,一下我贴出代码: <!DOCTYPE html> <html> <head> <meta ...