用Lucene4.5对中文文本建立索引

　　这里需要完成一个能对txt文本建立索引，并能完成检索查询。完成这个功能，使用的是Lucene4.5，同时使用其自带的中文分析器。

　　准备工作是在一个文件夹里面建一些txt文件，这是我的文件结构：

　　

　　首先要对这些文本建立索引，代码如下

 package com.test;

 import java.io.*;
 import java.util.ArrayList;
 import java.util.List;
 import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
 import org.apache.lucene.document.*;

 import org.apache.lucene.index.IndexWriter;
 import org.apache.lucene.index.IndexWriterConfig;
 import org.apache.lucene.store.Directory;
 import org.apache.lucene.store.FSDirectory;
 import org.apache.lucene.util.Version;

 public class Indexer {

     /**
      * @param args
      */

     private static String fileInput = "C:\\Users\\Press-Lab\\Desktop\\五月天歌词文件";
     //此处是索引存放的路径
     private static String indexPath = "C:\\Users\\Press-Lab\\Desktop\\index"; 

     public static void main(String[] args) throws Exception {
         // TODO Auto-generated method stub
         //此处去处txt的内容和路径，装入list中，方便下一步放入document中
         File[] files = new File(fileInput).listFiles();
         List<FileBag> list = new ArrayList<FileBag>();
         for(File f : files){
             BufferedReader br = new BufferedReader(new FileReader(f));
             StringBuffer sb = new StringBuffer();
             String line = null;
             while((line = br.readLine()) != null){
                 sb.append(line);
             }
             br.close();
             FileBag fileBag = new FileBag();
             fileBag.setContent(sb.toString());
             fileBag.setPath(f.getAbsolutePath());
             list.add(fileBag);
         }

         //此处为建立索引
         Directory dir = FSDirectory.open(new File(indexPath));
         //此处使用自带的中文分析器
         SmartChineseAnalyzer analyzer = new SmartChineseAnalyzer(Version.LUCENE_45);
         IndexWriterConfig config = new IndexWriterConfig(Version.LUCENE_45, analyzer);
         IndexWriter writer = new IndexWriter(dir, config);

         //对list中的每一个对象，分别连击索引
         for(FileBag fileBag : list){
             Document doc = new Document();
             doc.add(new Field("contents", fileBag.getContent(), Field.Store.YES,Field.Index.ANALYZED));
             doc.add(new StringField("path", fileBag.getPath(), Field.Store.YES));
             writer.addDocument(doc);
         }

         writer.close();

     }

 }
 //建立一个与txt对应的domain对象
 class FileBag{
     private String content;
     private String path;
     public String getContent() {
         return content;
     }
     public void setContent(String content) {
         this.content = content;
     }
     public String getPath() {
         return path;
     }
     public void setPath(String path) {
         this.path = path;
     }

 }

　　在这段代码中，我对文本进行了存储，一般情况下是无需存储的，这里为为了方便查看结果才进行存储。

　　特别注意代码的54行，如果使用Lucene4.5推荐的TextField，这无法建立索引。不知道这是个什么原因，有人解决过这个问题的麻烦告知下。

　　下面是进行检索的代码：

 package com.test;

 import java.io.*;

 import org.apache.lucene.analysis.Analyzer;
 import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
 import org.apache.lucene.analysis.standard.StandardAnalyzer;
 import org.apache.lucene.document.Document;
 import org.apache.lucene.index.DirectoryReader;
 import org.apache.lucene.index.IndexReader;
 import org.apache.lucene.index.Term;

 import org.apache.lucene.queryparser.classic.QueryParser;
 import org.apache.lucene.search.IndexSearcher;

 import org.apache.lucene.search.Query;
 import org.apache.lucene.search.ScoreDoc;
 import org.apache.lucene.search.TermQuery;
 import org.apache.lucene.search.TopDocs;
 import org.apache.lucene.store.Directory;
 import org.apache.lucene.store.FSDirectory;
 import org.apache.lucene.util.Version;

 import com.dong.Constants;

 public class Seacher {

     /**
      * @param args
      */
     private static String indexPath = "C:\\Users\\Press-Lab\\Desktop\\index";
     public static void main(String[] args) throws Exception {
         // TODO Auto-generated method stub

            Directory dir=FSDirectory.open(new File(indexPath));
            IndexReader reader=DirectoryReader.open(dir);
            IndexSearcher searcher=new IndexSearcher(reader);
            //此处也需要是用中文分析器
            SmartChineseAnalyzer analyzer = new SmartChineseAnalyzer(Version.LUCENE_45);
            QueryParser parser = new QueryParser(Version.LUCENE_45, "contents", analyzer);
            Query query = parser.parse("如果") ; 

            TopDocs topdocs=searcher.search(query, 5);
            ScoreDoc[] scoreDocs=topdocs.scoreDocs;  

            System.out.println("共有数据:" +  topdocs.scoreDocs.length + "条");
            for(int i=0; i < scoreDocs.length; i++) {
                 int doc = scoreDocs[i].doc;
                 Document document = searcher.doc(doc);
                 System.out.println("第" + i + "条文本的路径是:  " + document.get("path"));
                 System.out.println("第" + i + "条文本内容是:   " + document.get("contents"));  

             }
             reader.close();
     }  

 }

　　这里需要注意的是，查询时候也需要中文分析器。

　　下一篇要做的是，实现索引的分页查询。