lucene全文检索---打酱油的日子

检索内容，一般的程序员第一时间想到的是sql的like来做模糊查询，其实这样的搜索是比较耗时的。已经有lucene帮我们

封装好了，lucene采用的是分词检索等策略。

1、lucene中的类描述

IndexWriter:lucene中最重要的的类之一，它主要是用来将文档加入索引，同时控制索引过程中的一些参数使用。

Analyzer:分析器,主要用于分析搜索引擎遇到的各种文本。常用的有StandardAnalyzer分析器,StopAnalyzer分析器,WhitespaceAnalyzer分析器等。

Directory:索引存放的位置;lucene提供了两种索引存放的位置，一种是磁盘，一种是内存。一般情况将索引放在磁盘上；相应地lucene提供了FSDirectory和RAMDirectory两个类。

Document:文档;Document相当于一个要进行索引的单元，任何可以想要被索引的文件都必须转化为Document对象才能进行索引。

Field：字段。

IndexSearcher:是lucene中最基本的检索工具，所有的检索都会用到IndexSearcher工具;

Query:查询，lucene中支持模糊查询，语义查询，短语查询，组合查询等等,如有TermQuery,BooleanQuery,RangeQuery,WildcardQuery等一些类。

QueryParser:是一个解析用户输入的工具，可以通过扫描用户输入的字符串，生成Query对象。

Hits:在搜索完成之后，需要把搜索结果返回并显示给用户，只有这样才算是完成搜索的目的。在lucene中，搜索的结果的集合是用Hits类的实例来表示的。

2、lucene总结步骤

步骤简介如下：

• 创建Directory对象，索引文件夹
• 创建IndexSearch对象，建立查询（参数是Directory对象）
• 创建QueryParser对象（lucene版本，查询Field字段，所用分词器）
• 生成Query对象，由QueryParser对象的parse函数生成（参数是所查的关键字）
• 建立TopDocs对象（IndexSearch的search函数，参数是Query查询对象，）
• TopDocs对象数组里存放查询信息
• 关闭IndexSearch

2、项目中的lucene的使用

@SuppressWarnings("deprecation")
    public static Map<String, Object> searchIndex(String path, String keyword, Integer page, Integer rows) throws Exception {
        Map<String, Object> map = new HashMap<String, Object>();
        map.put("total", 0);

        // 默认IKAnalyzer()-false:实现最细粒度切分算法,true:分词器采用智能切分
        Analyzer analyzer = new IKAnalyzer(IKANALYZER);  

        if (path == null || "".equals(path.trim()))
        {
            return map;
        }

        //文件目录不存在自动创建目录
        File file = new File(path);
        if (!file.exists())
        {
            boolean result = file.mkdirs();
            if (!result)
            {
                return map;
            }
        }

        Directory directory = FSDirectory.open(file);  

        IndexReader ireader = IndexReader.open(directory);
        IndexSearcher isearcher = new IndexSearcher(ireader);  

        // 使用QueryParser查询分析器构造Query对象
        String[] fields = { "title", "tag"};
        QueryParser qp = new MultiFieldQueryParser(Version.LUCENE_42, fields, analyzer);
        qp.setDefaultOperator(QueryParser.AND_OPERATOR);
        Query query = qp.parse(keyword); 

        // 搜索相似度最高的TOTAL_HITS条记录
        TopDocs topDocs = isearcher.search(query, TOTAL_HITS);
        map.put("total", topDocs.totalHits);
        if (topDocs.totalHits > 0)
        {
            //分页，高亮显示
            Integer startIndex = (page - 1 ) * rows ;
            map.put("list" , higherIndex(analyzer, isearcher, query, topDocs, startIndex, rows));
        }

        return map;
    }

-----------------------------------------------------------------------------------------------

全文检索 ≠ like "%keyword%"

通常比较厚的书籍后面常常附关键词索引表（比如：北京：12, 34页， 上海：3,77页……），它能够帮助读者比较快地找到相关内容的页码。而数据库索引能够大大提高查询的速度原理也是一样，想像一下通过书后面的索引查找的速度要比一页一页地翻内容高多少倍……而索引之所以效率高，另外一个原因是它是排好序的。对于检索系统来说核心是一个排序问题。

由于数据库索引不是为全文索引设计的，因此，使用like "%keyword%"时，数据库索引是不起作用的，在使用like查询时，搜索过程又变成类似于一页页翻书的遍历过程了，所以对于含有模糊查询的数据库服务来说，LIKE对性能的危害是极大的。如果是需要对多个关键词进行模糊匹配：like"%keyword1%" and like "%keyword2%" ...其效率也就可想而知了。

所以建立一个高效检索系统的关键是建立一个类似于科技索引一样的反向索引机制，将数据源（比如多篇文章）排序顺序存储的同时，有另外一个排好序的关键词列表，用于存储关键词==>文章映射关系，利用这样的映射关系索引：[关键词==>出现关键词的文章编号，出现次数（甚至包括位置：起始偏移量，结束偏移量），出现频率]，检索过程就是把模糊查询变成多个可以利用索引的精确查询的逻辑组合的过程。从而大大提高了多关键词查询的效率，所以，全文检索问题归结到最后是一个排序问题。

由此可以看出模糊查询相对数据库的精确查询是一个非常不确定的问题，这也是大部分数据库对全文检索支持有限的原因。Lucene最核心的特征是通过特殊的索引结构实现了传统数据库不擅长的全文索引机制，并提供了扩展接口，以方便针对不同应用的定制。

可以通过一下表格对比一下数据库的模糊查询：

	Lucene全文索引引擎	数据库
索引	将数据源中的数据都通过全文索引一一建立反向索引	对于LIKE查询来说，数据传统的索引是根本用不上的。数据需要逐个便利记录进行GREP式的模糊匹配，比有索引的搜索速度要有多个数量级的下降。
匹配效果	通过词元(term)进行匹配，通过语言分析接口的实现，可以实现对中文等非英语的支持。	使用：like "%net%" 会把netherlands也匹配出来， 多个关键词的模糊匹配：使用like "%com%net%"：就不能匹配词序颠倒的xxx.net..xxx.com
匹配度	有匹配度算法，将匹配程度（相似度）比较高的结果排在前面。	没有匹配程度的控制：比如有记录中net出现5词和出现1次的，结果是一样的。
结果输出	通过特别的算法，将最匹配度最高的头100条结果输出，结果集是缓冲式的小批量读取的。	返回所有的结果集，在匹配条目非常多的时候（比如上万条）需要大量的内存存放这些临时结果集。
可定制性	通过不同的语言分析接口实现，可以方便的定制出符合应用需要的索引规则（包括对中文的支持）	没有接口或接口复杂，无法定制
结论	高负载的模糊查询应用，需要负责的模糊查询的规则，索引的资料量比较大	使用率低，模糊匹配规则简单或者需要模糊查询的资料量少

全文检索和数据库应用最大的不同在于：让最相关的头100条结果满足98%以上用户的需求