先介绍下查询与过滤的区别和联系,其实查询(各种Query)和过滤(各种Filter)之间非常相似,可以这样说只要用Query能完成的事,用过滤也都可以完成,它们之间可以相互转换,最大的区别就是使用过滤返回的结果集不带评分操作,而使用Query返回的结果都是带相关性评分的,所以当我们如果有一些跟评分操作没有关系的业务,优先使用Filter操作,将会获取更好的性能,其实这也是Solr里面的q参数跟fq参数的区别。 


下面,开始进入正题,在这之前,散仙还是喜欢老生常谈的先来了解一下Lucene里面有关于Filter的整体知识   

 

下面,我们来看下具体的在代码里怎么实现,先来看下我们的测试数据

Java代码   
  1. id      score       bookname    ename       type            price       date
  2. 1       1       飘渺之旅        pmzl        小说      52.23       201005
  3. 2       1       三国演义        sgyy        小说      36.13       201207
  4. 3       1       数据库实战       sjksz       技术      77.13       200811
  5. 4       1       编程宝典        bcbd        技术      100.3       200501
  6. 5       1       职场关系论       zcgxl       职场      36.59       200501
  7. 6       1       健康生活        jksh        生活      20.47       200008
  8. 7       1       看清本质        kqbz        社会      10.37       201004
  9. 8       1       编程,编程       bcbc        社会      10.37       201004

核心代码

Java代码   
  1. //使用过滤器   最后一个为true时包含边界部分,为false时不包含边界部分
  2. //倒数第二个为true时,包含查询边界,为false时不包含
  3. TermRangeFilter filter=new TermRangeFilter("ename", new BytesRef("h"), new BytesRef("n"), true, true);
  4. TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式

输出结果

Java代码   
  1. 6       1       健康生活        jksh        生活      20.47       200008
  2. 7       1       看清本质        kqbz        社会      10.37       201004

核心代码

Java代码   
  1. NumericRangeFilter<Double> filter=NumericRangeFilter.newDoubleRange("price", 10D, 40D, true, false);
  2. TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式

输出结果

Java代码   
  1. 2       1       三国演义        sgyy        小说      36.13       201207
  2. 5       1       职场关系论       zcgxl       职场      36.59       200501
  3. 6       1       健康生活        jksh        生活      20.47       200008
  4. 7       1       看清本质        kqbz        社会      10.37       201004
  5. 8       1       编程,编程       bcbc        社会      10.37       201004

核心代码

Java代码   
  1. //使用缓存过滤
  2. Filter filter=FieldCacheRangeFilter.newDoubleRange("price", 20D, 50D, true, true);
  3. TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式

输出结果

Java代码   
  1. 2       1       三国演义        sgyy        小说      36.13       201207
  2. 5       1       职场关系论       zcgxl       职场      36.59       200501
  3. 6       1       健康生活        jksh        生活      20.47       200008

核心代码

Java代码   
  1. // 缓存域过滤特定的类别
  2. Filter filter=new FieldCacheTermsFilter("type", new String[]{"技术","社会"});
  3. TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式

输出结果

Java代码   
  1. 3       1       数据库实战       sjksz       技术      77.13       200811
  2. 4       1       编程宝典        bcbd        技术      100.3       200501
  3. 7       1       看清本质        kqbz        社会      10.37       201004
  4. 8       1       编程,编程       bcbc        社会      10.37       201004

核心代码

Java代码   
  1. //使用QueryWrapperFilter类包装一个Query
  2. QueryWrapperFilter  filter=new QueryWrapperFilter(new TermQuery(new Term("type", "技术")));
  3. TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式

输出结果

Java代码   
  1. 3       1       数据库实战       sjksz       技术      77.13       200811
  2. 4       1       编程宝典        bcbd        技术      100.3       200501

最后我来看下,如何继承Filter基类,来定制我们自己的filter,自定义的Filter,虽然某些时候,功能很强大灵活,但是有几个缺点,我们的了解1,保证是内容不重复的字段,例如主键,如果重复,默认返回第一个作为结果集显示2,保证不能被分词的内容,如果是分词的字段,则可能会出现一些不正确的结果。   
自定义Filter类

Java代码   
  1. package com.sanjiesanxian.test;
  2. import java.io.IOException;
  3. import java.util.BitSet;
  4. import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
  5. import org.apache.lucene.index.AtomicReaderContext;
  6. import org.apache.lucene.index.DocsEnum;
  7. import org.apache.lucene.index.Term;
  8. import org.apache.lucene.search.DocIdSet;
  9. import org.apache.lucene.search.Filter;
  10. import org.apache.lucene.util.AttributeSource;
  11. import org.apache.lucene.util.Bits;
  12. import org.apache.lucene.util.DocIdBitSet;
  13. import org.apache.lucene.util.FixedBitSet;
  14. import org.apache.lucene.util.OpenBitSet;
  15. /***
  16. *^_^  ^_^  ^_^
  17. * 自定义过滤器
  18. * @author
  19. * */
  20. public class MyCustomFilter extends Filter{
  21. public MyCustomFilter() {
  22. // TODO Auto-generated constructor stub
  23. }
  24. private String[] terms;//限制返回的数据字典
  25. public MyCustomFilter(String ...terms) {
  26. // TODO Auto-generated constructor stub
  27. this.terms=terms;
  28. }
  29. @Override
  30. public DocIdSet getDocIdSet(AtomicReaderContext arg0, Bits arg1)
  31. throws IOException {
  32. FixedBitSet bits=new FixedBitSet(arg0.reader().maxDoc())  ;//获取没有所有的docid包括未删除的
  33. int base=arg0.docBase;//段的相对基数,保证多个段时相对位置正确
  34. //int limit=base+arg0.reader().maxDoc();//计算最大限制值
  35. for(String s:terms){
  36. DocsEnum doc=arg0.reader().termDocsEnum(new Term("id", s));//必须是唯一的不重复
  37. //保证是单个不重复的term,如果重复的话,默认会取第一个作为返回结果集,分词后的term也不适用自定义term
  38. if(doc.nextDoc()!=-1){
  39. bits.set(doc.docID());//对付符合条件约束的docid循环添加到bits里面
  40. }
  41. }
  42. return bits;
  43. }
  44. }

测试查询代码

Java代码   
  1. MyCustomFilter filter=new MyCustomFilter("3","5","2");//随意指定1之多个需要过滤的项
  2. TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);

输出结果

Java代码   
  1. 2       1       三国演义        sgyy        小说      36.13       201207
  2. 3       1       数据库实战       sjksz       技术      77.13       200811
  3. 5       1       职场关系论       zcgxl       职场      36.59       200501

自定义过滤器虽然有缺点,但是某些场景下却能发挥很灵活的作用,特别是对没有分词的字段进行过滤操作。   


                

lucene自定义过滤器的更多相关文章

  1. lucene Filter过滤器

    摘自:http://iamyida.iteye.com/blog/2199368 1.TermFilter:就是按照Term去过滤,跟TermQuery类似: Filter filter = new ...

  2. 实现MVC自定义过滤器,自定义Area过滤器,自定义Controller,Action甚至是ViewData过滤器

    MVC开发中几种以AOP方式实现的Filters是非常好用的,默认情况下,我们通过App_Start中的FilterConfig来实现的过滤器注册是全局的,也就是整个应用程序都会使用的,针对单独的Fi ...

  3. asp.net MVC之 自定义过滤器(Filter) - shuaixf

    一.系统过滤器使用说明 1.OutputCache过滤器 OutputCache过滤器用于缓存你查询结果,这样可以提高用户体验,也可以减少查询次数.它有以下属性: Duration :缓存的时间, 以 ...

  4. angular之自定义过滤器的使用

    自定义过滤器需要使用filter函数,格式如下: filter("filterName',function(){ return function(target,args){ .... } } ...

  5. 第六节:Vue过滤器的用法和自定义过滤器

    1.过滤器的用法,用  '|' 分割表达式和过滤器. 例如:{{ msg |  filter}}     {{msg | filter(a)}}  a就标识filter的一个参数. 用两个过滤器:{{ ...

  6. .net中自定义过滤器对Response内容进行处理

    原文:http://www.cnblogs.com/zgqys1980/archive/2008/09/02/1281895.html 代码DEMO:http://files.cnblogs.com/ ...

  7. asp.net MVC之 自定义过滤器(Filter)

    一.系统过滤器使用说明 1.OutputCache过滤器 OutputCache过滤器用于缓存你查询结果,这样可以提高用户体验,也可以减少查询次数.它有以下属性: Duration:缓存的时间,以秒为 ...

  8. Vue自定义过滤器

    gitHub地址: https://github.com/lily1010/vue_learn/tree/master/lesson05 一 自定义过滤器(注册在Vue全局) 注意事项: (1)全局方 ...

  9. 关于angularjs 中自定义过滤器

    包子认为,在angularjs中,经常需要用到自定义过滤器,来过滤相应的功能,自定义过滤器非常的简单,我就直接贴代码啦 其中input就是你需要进行操作的对象,,,用法就直接就是 是不是很easy.. ...

随机推荐

  1. Angular2学习笔记——NgModule

    在Angular2中一个Module指的是使用@NgModule修饰的class.@NgModule利用一个元数据对象来告诉Angular如何去编译和运行代码.一个模块内部可以包含组件.指令.管道,并 ...

  2. EasyPR--开发详解(4)形态学操作、尺寸验证、旋转等操作

    在上一篇深度分析与调优讨论中,我们介绍了高斯模糊,灰度化和Sobel算子.在本文中,会分析剩余的定位步骤. 根据前文的内容,车牌定位的功能还剩下如下的步骤,见下图中未涂灰的部分. 图1 车牌定位步骤 ...

  3. 大型网站的灵魂——性能

    前言     在前一篇随笔<大型网站系统架构的演化>中,介绍了大型网站的演化过程,期间穿插了一些技术和手段,我们可以从中看出一个大型网站的轮廓,但想要掌握设计开发维护大型网站的技术,需要我 ...

  4. backup2:数据库还原

    数据库还原的操作,分两步进行:第一步,验证(verify)备份文件:第二步,根据备份策略还原数据库: 参考<backup1:开始数据库备份>,备份策略是: 一周一次完整备份,一天一次差异备 ...

  5. ASP.NET MVC5+EF6+EasyUI 后台管理系统(53)-工作流设计-我的批阅

    系列目录 前言:由于工作原因工作流一直没时间更新,虽然没有更新,但是批阅和申请差不多,改变一下数据的状态字段就行,有几个园友已经率先完成了 说句实话,一个工作流用文章表达很难,我起初以为这是一个很简单 ...

  6. mysql大小写敏感与校对规则

    大家在使用mysql过程中,可能会遇到类似一下的问题: root@chuck 07:42:00>select * from test where c1 like 'ab%';  +-----+  ...

  7. AFNetworking 3.0 源码解读(三)之 AFURLRequestSerialization

    这篇就讲到了跟请求相关的类了 关于AFNetworking 3.0 源码解读 的文章篇幅都会很长,因为不仅仅要把代码进行详细的的解释,还会大概讲解和代码相关的知识点. 上半篇: URI编码的知识 关于 ...

  8. 【分布式】Zookeeper使用--命令行

    一.前言 在学习了Zookeeper相关的理论知识后,下面接着学习对Zookeeper的相关操作. 二.Zookeeper部署 Zookeeper的部署相对来说还是比较简单,读者可以在网上找到相应的教 ...

  9. PHPStorm配置自己喜欢的主题

    PHPstorm默认的主题和可选的主题有时候不能满足有些人的需求,怎么配置自己喜欢的主题呢? 1.首先先去下载自己喜欢的主题:http://www.phpstorm-themes.com/ 但是在下载 ...

  10. Redis命令拾遗四(集合类型)—包含简单搜索筛选商品设计实例。

    本文版权,归博客园和作者吴双共同所有.转载和爬虫请注明博客园蜗牛Redis系列文章地址 http://www.cnblogs.com/tdws/tag/NoSql/ Redis数据类型之集合(Set) ...