[IR] Evaluation
无序检索结果的评价方法:

Precision
P
=
tp/(tp
+
fp)
Recall
R
=
tp/(tp
+
fn)
Accuracy = (tp + tn) / ( tp + fp + fn + tn)

有序检索结果的评价方法:
A precison-recall curve

调式search engine目前只是针对一个Query的表现。
You need to average performance over a whole bunch of queries.
其实,就是在遵从precision降低,必然提高recall的原则下,画出趋势图。(也就是插值法 Interpolated Precision)

What is the interpolated precision of the system at 25% recall?
1.0, 0.67, 0.5, 0.4, 0.36, 0.36, 0.36

Mean average precision (MAP)
System: D1, D2, D4, D3
k = 1, R, 1/1
k = 2, NR, n/a
k = 3, NR, n/a
k = 4, R, 2/4
MAP = (1/1+2/4)/2 = 3/4
What is the largest possible mean average precision that this system could have?
If the last two relevant documents are in ranking 21 and 22. 尽量早出现
MAP = (1.0+1.0+0.33+0.36+0.33+0.3+0.33+0.36)/8 = 0.503
What is the smallest possible mean average precision that this system could have?
If the last two relevant documents are in ranking 9999 and 10000. 尽量晚出现
MAP = (1.0+1.0+0.33+0.36+0.33+0.3+0.0007+0.0008)/6 = 0.416
用已有的MAP去估计未来可能的MAP的error是多少?
MAP = (1.0 + 1.0 + 0.33 + 0.36 + 0.33 + 0.3)/6 = 0.555
The error could be 0.555 - (0.503 + 0.416)/2 = 0.095
Kappa Measure
P(A) = Accuracy
P(E) = [ (person1-yes + person2-yes)/(total*2) ]^2 + [ (person1-no + person2-no)/(total*2) ]
Kappa = [ P(A) – P(E) ] / [ 1 – P(E) ]
Kappa > 0.8 // good agreement
0.67 < Kappa < 0.8 // “tentative conclusions” (CarleSa ’96)
相关反馈:有点reinforcement learning的意思。


[IR] Evaluation的更多相关文章
- 数据挖掘方面重要会议的最佳paper集合
数据挖掘方面重要会议的最佳paper集合,兴许将陆续分析一下内容: 主要有KDD.SIGMOD.VLDB.ICML.SIGIR KDD (Data Mining) 2013 Simple and De ...
- 本人AI知识体系导航 - AI menu
Relevant Readable Links Name Interesting topic Comment Edwin Chen 非参贝叶斯 徐亦达老板 Dirichlet Process 学习 ...
- [笔记]RankSVM 和 IR SVM
之前的博客:http://www.cnblogs.com/bentuwuying/p/6681943.html中简单介绍了Learning to Rank的基本原理,也讲到了Learning to R ...
- Learning to Rank算法介绍:RankSVM 和 IR SVM
之前的博客:http://www.cnblogs.com/bentuwuying/p/6681943.html中简单介绍了Learning to Rank的基本原理,也讲到了Learning to R ...
- Datasets and Evaluation Metrics used in Recommendation System
Movielens and Netflix remain the most-used datasets. Other datasets such as Amazon, Yelp and CiteUli ...
- Utility2:Appropriate Evaluation Policy
UCP收集所有Managed Instance的数据的机制,是通过启用各个Managed Instances上的Collection Set:Utility information(位于Managem ...
- SQL SERVER 2012 从Enterprise Evaluation Edtion 升级到 Standard Edtion SP1
案例背景:公司从意大利购买了一套中控系统,前期我也没有参与其中(包括安装.实施都是第三方),直到最近项目负责人告诉我:前期谈判以为是数据库的License费用包含在合同中,现在经过确认SQL Serv ...
- LLVM 笔记(五)—— LLVM IR
ilocker:关注 Android 安全(新手) QQ: 2597294287 LLVM 的 IR (Intermediate Representation) 是其设计中的最重要的部分.优化器在进行 ...
- word record about IR target detecting and tracking
1 is submerged in background clutter 淹没在背景杂波中 2 performe poorly for the dim small targets in sever c ...
随机推荐
- SCN试验之二 checkpoin scn 与数据库scn的关系
oracle11g 观察数据库scn: SQL> select dbms_flashback.get_system_change_number from dual; GET_SYSTEM_CHA ...
- DotNetMQ的一个小demo
DotNetMQ是一个新的.独立的.开源的,完全基于C#和.NET Framework3.5的消息队列系统 下载源代码 - 1.28 MB 下载二进制文件 - 933 KB 下载例子 - 534 KB ...
- 一个3D的多人在线游戏, 服务端 + 客户端 【转】
最近学院组织了一个实训,要求是利用Socket通信和D3D的知识, 写一个多人在线的游戏, 服务端是在linux下, 客户是在Windows下: 写这个的目的是想让大家给我找错, 欢迎大家的意见.我的 ...
- Linux 磁带机备份完全攻略
一.确定数据备份策略 首先必须确定在备份过程中操作哪些文件.在商业环境中,这是非常困难的一个决定,而且会产生严重的影响.如果备份了太多数据,会导致备份系统的成本过于庞大,会削减其他方面的开支.如果没有 ...
- Scala 并行和并发编程-Futures 和 Promises【翻译】
官网地址 本文内容 简介 Futures 阻塞 异常 Promises 工具 最近看了<七周七语言:理解多种编程泛型>,介绍了七种语言(四种编程范型)的主要特性:基本语法,集合,并行/并发 ...
- 阿里云 Redis 服务遇到的问题
ERR unknown command eval 说明: 执行当前 Web 请求期间,出现未经处理的异常.请检查堆栈跟踪信息,以了解有关该错误以及代码中导致错误的出处的详细信息. 异常详细信息: St ...
- [Javascript] Functor Basic Intro
Well, this stuff will be a little bit strange if you deal with it first time. Container Object: Just ...
- CEF 相关资料
理解WebKit和Chromium: Content API和CEF3 http://blog.csdn.net/milado_nju/article/details/7455373 如何将Chrom ...
- distri.lua重写开源手游服务器框架Survive
Survive之前采用的是C+lua的设计方式,其中网关服务器全部由C编写,其余服务全部是C框架运行lua回调函数的方式编写游戏逻辑. 鉴于一般的手游对服务器端的压力不会太大,便将Survive用di ...
- solr searcher
solr searcher 前面我配置好了solr,并且数据库建立索引也完成了. 为php添加搜索 首先下载solrphp http://wiki.apache.org/solr/SolPHP 在so ...