Solr基础理论【排名检索、查准率、查全率】

一.排名检索

　　搜索引擎代表了基于查询，返回优先文档的一种方法。在关系型数据库的SQL查询中，表的一行要么匹配一个查询，要么不匹配，查询结果基于一列或多列排序。搜索引擎根据文档与查询匹配的程度为文档打分，并按降序返回结果。匹配程度的计算取决于多个因素，一般而言，文档得分越高意味着该文档与查询的相关性越强。

　　在Solr中会存在单独的字段保存相关性，那就是score字段。在score字段的得分数值并非具有绝对意义，它在lucene内部仅作为相对排名，而且同一文档在不同的查询中的得分并无关系。也就是说，与查询匹配的文档相关度得分仅适用于该查询。返回的结果按照得分从低到高排序，文档得分越高。说明与该查询越相关。

　　优点：

　　　　1.提供清晰的导航方式，把用户越需要的放在越靠前的位置。

　　　　2.智能化程度高，用户无需考虑排序问题。

二.查准率

　　查准率【Precision，精度性的度量】的具体定义如下：正确匹配的文档数量/返回的文档数量【介于0.0~1.0之间】，例如：

　　　　

　　假设某次搜索返回的文档集合为文档1、2、3，那么该查询的查准率为1.0【3个正确匹配/3个全部匹配】，这是理想状态。但是，如果返回全部6个结果，那么查准率仅为0.5，因为返回的结果中有一半是不相关的。同样地，如果只返回一个相关文档【比如文档1】，那么查准率依然是1.0，因为返回的结果都是匹配的。可见，查准率是衡量结果与查询是否相关的一个指标，但是它并不关注全面性，即使只返回了100个匹配文档中的1个，查准率依然为1.0【返回的文档中没有不匹配文档】。由于查准率仅考虑了返回结果的整体精确性，而未考虑结果集的全面性，因此需要将查全率与查准率配合使用。

三.查全率

　　查全率【Recall，全面性的度量，也称召回率】衡量的是搜索结果的全面性。定义如下：返回的正确匹配的文档数/全部正确匹配的文档数。如果仅返回一个匹配文档，则查全率为1/3，因为没有找到其它两个应该匹配的文档【此时查准率为1.0】。

四.查准率与查全率之间的平衡

　　查准率与查全率的重要区别是，如果返回的结果是正确的，则查准率高；如果正确的结果都被返回了，则查全率高。查准率不关心正确结果是否都被返回出来，而查全率不关心返回的结果是否都是正确的。

　　虽然查准率与查全率之间存在明显的互逆关系，但它们并不是相互排斥的。在前面的示例中，如果只返回全部匹配文档【文档1、2、3】，那么查准率和查全率就都是1.0。这是因为所有匹配且无不陪配的文档被返回了。

　　最大限度提升查准率与查全率是绝大多数搜索相关度优化的最终目标。人为或手动调整结果集看似简单，但事实上，这是一个具有挑战性的难题。Solr采用了许多技术用于提高查准率和查全率，其中大部分技术更倾向于提高返回完整文档集的查全率。合适的文本分析【找到词汇的多个变体】可以寻找更多匹配结果，但如果文本分析力度过大，匹配到了错误的词汇变体，那么这些额外的匹配结果可能会影响查准率。

　　Solr中平衡查准率与查全率的一种常见方式是在整个结果集上计算查全率，仅在搜索结果第一页【或前几页】上计算查准率。根据这一模型，调整Solr的相关度评分的计算方式，让更好的匹配结果被提升到搜索结果的顶部，而许多不良的匹配出现在搜索结果的底部。

　　如何做到查准率与查全率的最佳平衡，最终取决于现实情。在法律方面的搜索，查全率的重要性更高，因为如果遗漏了文档，就可能会导致一定的法律后果。对于其它现实需求而言，可能仅仅找到一些最佳匹配就可以了。若没有找到最佳匹配，返回为空即可。

　　大多数搜索应用处于两个极端之间。由于大多数情况下没有所谓的正确答案，所以在查准率与查全率之间取得适度平衡成为一项长期的挑战。不管怎样，理解查准率与查全率以及如何在两者之间做出调整，使得杠杆向某一遍倾斜【另一边上升】，是有效改进搜索结果质量的关键。

五.不适宜使用solr的情况

　　1.经常需要返回大量文档的情况。搜索引擎一般会为每个查询返回一小部分文档集合，通常为10~100个。同一查询的更多文档可以通过solr内置的分页功能获取。当需要返回大量匹配数据时，查询本身可能执行的很快，但从底层索引结构上重构大量文档时速度极其缓慢。

　　2.进行深度分析任务。这需要访问大量索引，即使通过分页解决上述问题，底层索引的数据结构也并不适合一次检索大量索引。