主要目的:

在网络信息检索中,对每个文档的重要性作出评价。

Basic Idea:

如果有许多网页链接到某一个网页,那么这个网页比较重要。

如果某个网页被一个权重较大的网页链接,那么这个网页比较重要。

随机游走模型:

过程:1.在所有网页中,随机选择一个网页作为游走的开端。

2.然后在当前网页上的超链接中,随机选择一个超链接跳转到下一个网页。

3.大量重复1.2的过程。

重要度计算方法:

Pr(pi|p1)表示从编号为1的网页跳转到编号为i的网页的概率,其计算方式为 Pr(Pi|P1) = 1/m ,当编号为1的这个网页上有到i的连接时,否则该值为0。m表示编号为1的网页中的连接总数。

在Page Rank中,我们最终想要得到的是就是w 这个向量,在计算过程中,可以采用迭代的方法:刚开始,所有网页被访问的概率是一样的,所以w=(1,1,...,1)T

Iterate: wk = Bwk-1   直到我们可以认为 w= wk-1

随机游走模型的一个问题:

Solution:

为了解决这个问题,我们引入一个阻尼系数d,假设用户在随机游走模型中,在准备浏览下一个网页的过程中,有概率为d在当前网页选择一个超链接,也有概率为1-d的可能在地址栏键入一个新网址。由此,权重计算公式更新为:

如何排序?

用户输入一个query,搜索引擎首先计算文档的相关度和重要度,将这两个值乘以相应的参数再相加,选取top-n呈现给用户。

Topic Sensetive Page Rank

Basic Idea:

用户在随机选择一个网页进行访问时,一般是选取与当前主题(topic)相同的网页。

Method:

在计算网页的重要度时,需要计算其在每一个主题上的重要度pi,用户输入一个query时,用分类器计算这个query在每个主题上的概率wi,最后计算R(P,Q)=w1p1+w2p2+..+wnpn

Basic PageRank (in matrix form)

在Topic Sensetive Page Rank 中,假设有主题分类Ci,Tj表示Ci的一个子集

下面是p的初始值,若i页面属于主题分类Ci,那么vji = 1/(Tj),否则为0。

    以上式子是根据用户只会向相同主题页面跳转的规律得来的。

v代替p带入到Basic PageRank的公式中,需要注意的是,对于每一个主题,都需要计算Rank的值

那么,得到每一个页面的每一个Rank值之后,计算每一个页面的R(P,Q)=w1p1+w2p2+..+wnpn,其中wi表示query属于i分类的概率,而Pi表示该页面在i分类上的rank值。

[IR课程笔记]Page Rank的更多相关文章

  1. [IR课程笔记]Hyperlink-Induced Topic Search(HITS)

    两个假设 1. 好的hub pages: 好的对某个主题的hub pages 链接许多好的这个主题的authoritative pages. 2. 好的authoritative pages: 好的对 ...

  2. [IR课程笔记]向量空间模型(Vector Space Model)

    VSM思想 把文档表示成R|v|上的向量,从而可以计算文档与文档之间的相似度(根据欧氏距离或者余弦夹角) 那么,如何将文档将文档表示为向量呢? 首先,需要选取基向量/dimensions,基向量须是线 ...

  3. [IR课程笔记]Web search

    一.  搜索引擎 组成部分: 1. 网络爬虫(web crawler) 2. 索引系统(indexing system) 3. 搜索系统 (searching system) consideratio ...

  4. [IR课程笔记]Query Refinement and Relevance Feedback

    相关反馈的两种类型: “真实”的相关反馈: 1. 系统返回结果 2. 用户提供一些反馈 3. 系统根据这些反馈,返回一些不同的,更好的结果 “假定”的相关反馈 1. 系统得到结果但是并不返回结果 2. ...

  5. [IR课程笔记]概率检索模型

    几个符号意义: R:相关文档集 NR:不相关文档集 q:用户查询 dj:文档j 1/0风险情况 PRP(probability ranking principle):概率排序原理,利用概率模型来估计每 ...

  6. [IR课程笔记]统计语言模型

    Basic idea 1.一个文档(document)只有一个主题(topic) 2.主题指的是这个主题下文档中词语是如何出现的 3.在某一主题下文档中经常出现的词语,这个词语在这个主题中也是经常出现 ...

  7. [北航矩阵理论A]课程笔记

    [北航矩阵理论A]课程笔记 一.特征值 特征根相关: 设任一方阵 \(A = (a_{ij})_{n\times n} \in C^{n\times n}\) 特征多项式 \(T(\lambda)=| ...

  8. CS231n课程笔记翻译1:Python Numpy教程

    译者注:本文智能单元首发,翻译自斯坦福CS231n课程笔记Python Numpy Tutorial,由课程教师Andrej Karpathy授权进行翻译.本篇教程由杜客翻译完成,Flood Sung ...

  9. vue—你必须知道的 js数据类型 前端学习 CSS 居中 事件委托和this 让js调试更简单—console AMD && CMD 模式识别课程笔记(一) web攻击 web安全之XSS JSONP && CORS css 定位 react小结

    vue—你必须知道的   目录 更多总结 猛戳这里 属性与方法 语法 计算属性 特殊属性 vue 样式绑定 vue事件处理器 表单控件绑定 父子组件通信 过渡效果 vue经验总结 javascript ...

随机推荐

  1. 编译 Android 版本的 Opus 音频编解码库的方法

    Opus 音频编解码库是 Speex 音频编解码库的下一代版本,从编解码性能以及质量上来讲都有了长足的进步.Opus 的编译非常简单,但是官方并未给出详细的 Android 版本编译指南,查找了大量资 ...

  2. Network | DHCP

    动态主机设置协议(Dynamic Host Configuration Protocol, DHCP)是一个局域网的网络协议,使用UDP协议工作,主要有两个用途: 给内部网络或网络服务供应商自动分配I ...

  3. spring mvc 编写处理带参数的Controller

    在上一随笔记录的基础上,现记录编写处理带有参数的Controller. @Controller //这个注解会告知<context:component:scan> 将HomeControl ...

  4. Zab算法详解

    Zookeeper使用了一种称为Zab(Zookeeper Atomic Broadcast)的协议作为其一致性复制的核心,据其作者说这是一种新发算法,其特点是充分考虑了Yahoo的具体情况:高吞吐量 ...

  5. jvm 问题分析

    jmap dump:file=[文件名].dump [进程号]  生成dump root@VM-185-251-ubuntu:/opt/scripts# jmap -dump:file=three.d ...

  6. android 获取GPS定位

    AndroidManifest.xml <?xml version="1.0" encoding="utf-8"?> <manifest xm ...

  7. DELPHI的BPL使用

    了解BPL和DLL的关系将有助于我们更好地理解DELPHI在构件制作.运用和动态.静态编译的工作方式.对初学DELPHI但仍对DELPHI开发不甚清晰的朋友有一定帮助.第一部分:有关包的介绍 一般我们 ...

  8. java资源分享、面试题资料、分布式大数据

    马士兵大数据_架构师(1) 链接:http://pan.baidu.com/s/1qYTW1m0 密码:lxjd spring Cloud 链接:http://pan.baidu.com/s/1bzG ...

  9. Spring 让 LOB 数据操作变得简单易行,LOB 代表大对象数据,包括 BLOB 和 CLOB 两种类型

    转自:https://www.ibm.com/developerworks/cn/java/j-lo-spring-lob/index.html 概述 LOB 代表大对象数据,包括 BLOB 和 CL ...

  10. POJ 1018 Communication System 题解

    本题一看似乎是递归回溯剪枝的方法.我一提交,结果超时. 然后又好像是使用DP,还可能我剪枝不够. 想了非常久,无奈忍不住偷看了下提示.发现方法真多.有贪心,DP,有高级剪枝的.还有三分法的.八仙过海各 ...