lucene索引并搜索mysql数据库[转]

由于对lucene比较感兴趣，本人在网上找了点资料，终于成功地用lucene对mysql数据库进行索引创建并成功搜索，先总结如下：

首先介绍一个jdbc工具类，用于得到Connection对象：

1. import java.sql.Connection;
2. import java.sql.DriverManager;
3. import java.sql.SQLException;
4. /**
5. * JdbcUtil.java
6. * @version 1.0
7. * @createTime JDBC获取Connection工具类
8. */
9. public class JdbcUtil {
10. private static Connection conn = null;
11. private static final String URL = "jdbc:mysql://127.0.0.1/project?autoReconnect=true&characterEncoding=utf8";
12. private static final String JDBC_DRIVER = "com.mysql.jdbc.Driver";
13. private static final String USER_NAME = "root";
14. private static final String PASSWORD = "";
15. public static Connection getConnection() {
16. try {
17. Class.forName(JDBC_DRIVER);
18. conn = DriverManager.getConnection(URL, USER_NAME, PASSWORD);
19. } catch (ClassNotFoundException e) {
20. e.printStackTrace();
21. } catch (SQLException e) {
22. e.printStackTrace();
23. }
24. return conn;
25. }
26. }

然后就是本文的主要内容了，对数据库信息进行索引与对索引进行搜索：

1. import java.io.File;
2. import java.sql.Connection;
3. import java.sql.ResultSet;
4. import java.sql.Statement;
5. import java.util.ArrayList;
6. import java.util.List;
7. import org.apache.lucene.analysis.Analyzer;
8. import org.apache.lucene.document.Document;
9. import org.apache.lucene.document.Field;
10. import org.apache.lucene.document.Field.TermVector;
11. import org.apache.lucene.index.IndexWriter;
12. import org.apache.lucene.queryParser.QueryParser;
13. import org.apache.lucene.search.*;
14. import org.apache.lucene.store.Directory;
15. import org.apache.lucene.store.FSDirectory;
16. import org.apache.lucene.util.Version;
17. import org.wltea.analyzer.lucene.IKAnalyzer;
18. import org.wltea.analyzer.lucene.IKSimilarity;
19. /**
20. * SearchLogic.java
21. * @version 1.0
22. * @createTime Lucene数据库检索
23. */
24. public class SearchLogic {
25. private static Connection conn = null;
26. private static Statement stmt = null;
27. private static  ResultSet rs = null;
28. private String searchDir = "E:\\Test\\Index";
29. private static File indexFile = null;
30. private static Searcher searcher = null;
31. private static Analyzer analyzer = null;
32. /** 索引页面缓冲 */
33. private int maxBufferedDocs = 500;
34. /**
35. * 获取数据库数据
36. * @return ResultSet
37. * @throws Exception
38. */
39. public List<SearchBean> getResult(String queryStr) throws Exception {
40. List<SearchBean> result = null;
41. conn = JdbcUtil.getConnection();
42. if(conn == null) {
43. throw new Exception("数据库连接失败！");
44. }
45. String sql = "select id, username, password, type from account";
46. try {
47. stmt = conn.createStatement();
48. rs = stmt.executeQuery(sql);
49. this.createIndex(rs);   //给数据库创建索引,此处执行一次，不要每次运行都创建索引，以后数据有更新可以后台调用更新索引
50. TopDocs topDocs = this.search(queryStr);
51. ScoreDoc[] scoreDocs = topDocs.scoreDocs;
52. result = this.addHits2List(scoreDocs);
53. } catch(Exception e) {
54. e.printStackTrace();
55. throw new Exception("数据库查询sql出错！ sql : " + sql);
56. } finally {
57. if(rs != null) rs.close();
58. if(stmt != null) stmt.close();
59. if(conn != null) conn.close();
60. }
61. return result;
62. }
63. /**
64. * 为数据库检索数据创建索引
65. * @param rs
66. * @throws Exception
67. */
68. private void createIndex(ResultSet rs) throws Exception {
69. Directory directory = null;
70. IndexWriter indexWriter = null;
71. try {
72. indexFile = new File(searchDir);
73. if(!indexFile.exists()) {
74. indexFile.mkdir();
75. }
76. directory = FSDirectory.open(indexFile);
77. analyzer = new IKAnalyzer();
78. indexWriter = new IndexWriter(directory, analyzer, true, IndexWriter.MaxFieldLength.UNLIMITED);
79. indexWriter.setMaxBufferedDocs(maxBufferedDocs);
80. Document doc = null;
81. while(rs.next()) {
82. doc = new Document();
83. Field id = new Field("id", String.valueOf(rs.getInt("id")), Field.Store.YES, Field.Index.NOT_ANALYZED, TermVector.NO);
84. Field username = new Field("username", rs.getString("username") == null ? "" : rs.getString("username"), Field.Store.YES,Field.Index.ANALYZED, TermVector.NO);
85. doc.add(id);
86. doc.add(username);
87. indexWriter.addDocument(doc);
88. }
89. indexWriter.optimize();
90. indexWriter.close();
91. } catch(Exception e) {
92. e.printStackTrace();
93. }
94. }
95. /**
96. * 搜索索引
97. * @param queryStr
98. * @return
99. * @throws Exception
100. */
101. private TopDocs search(String queryStr) throws Exception {
102. if(searcher == null) {
103. indexFile = new File(searchDir);
104. searcher = new IndexSearcher(FSDirectory.open(indexFile));
105. }
106. searcher.setSimilarity(new IKSimilarity());
107. QueryParser parser = new QueryParser(Version.LUCENE_30,"username",new IKAnalyzer());
108. Query query = parser.parse(queryStr);
109. TopDocs topDocs = searcher.search(query, searcher.maxDoc());
110. return topDocs;
111. }
112. /**
113. * 返回结果并添加到List中
114. * @param scoreDocs
115. * @return
116. * @throws Exception
117. */
118. private List<SearchBean> addHits2List(ScoreDoc[] scoreDocs ) throws Exception {
119. List<SearchBean> listBean = new ArrayList<SearchBean>();
120. SearchBean bean = null;
121. for(int i=0 ; i<scoreDocs.length; i++) {
122. int docId = scoreDocs[i].doc;
123. Document doc = searcher.doc(docId);
124. bean = new SearchBean();
125. bean.setId(doc.get("id"));
126. bean.setUsername(doc.get("username"));
127. listBean.add(bean);
128. }
129. return listBean;
130. }
131. public static void main(String[] args) {
132. SearchLogic logic = new SearchLogic();
133. try {
134. Long startTime = System.currentTimeMillis();
135. List<SearchBean> result = logic.getResult("商家");
136. int i = 0;
137. for(SearchBean bean : result) {
138. if(i == 10)
139. break;
140. System.out.println("bean.name " + bean.getClass().getName() + " : bean.id " + bean.getId()+ " : bean.username " + bean.getUsername());
141. i++;
142. }
143. System.out.println("searchBean.result.size : " + result.size());
144. Long endTime = System.currentTimeMillis();
145. System.out.println("查询所花费的时间为：" + (endTime-startTime)/1000);
146. } catch (Exception e) {
147. e.printStackTrace();
148. System.out.println(e.getMessage());
149. }
150. }
151. }

对了上面的类还用到了一个javabean类，如下：

1. public class SearchBean {
2. private String id;
3. private String username;
4. public String getId() {
5. return id;
6. }
7. public void setId(String id) {
8. this.id = id;
9. }
10. public String getUsername() {
11. return username;
12. }
13. public void setUsername(String username) {
14. this.username = username;
15. }
16. }

这些代码大部分都是我在网上找到的doc文档中复制粘贴而来，本着“拿来主义”，我对这些代码修改不大，经测试，这些代码能够正常运行。

写了几篇博客，对lucene的使用方式也越来越清楚，在这里也很有必要总结一下：

使用lucene包括两个步骤，分别是索引和搜索。

•索引过程如下：
       ◦ 创建一个IndexWriter用来写索引文件，它有几个参数，INDEX_DIR就是索引文件所存放的位置，Analyzer便是用来对文档进行词法分析和语言处理的。
       ◦ 创建一个Document代表我们要索引的文档。
       ◦ 将不同的Field加入到文档中。我们知道，一篇文档有多种信息，如题目，作者，修改时间，内容等。不同类型的信息用不同的Field来表示。
       ◦ IndexWriter调用函数addDocument将索引写到索引文件夹中。
    •搜索过程如下：
       ◦ IndexReader将磁盘上的索引信息读入到内存，INDEX_DIR就是索引文件存放的位置。
       ◦ 创建IndexSearcher准备进行搜索。
       ◦ 创建Analyer用来对查询语句进行词法分析和语言处理。
       ◦ 创建QueryParser用来对查询语句进行语法分析。
       ◦ QueryParser调用parser进行语法分析，形成查询语法树，放到Query中。
       ◦ IndexSearcher调用search对查询语法树Query进行搜索，得到结果TopScoreDocCollector。

对了，必须说一下，上面的例子还用到了一个新的jar包IKAnalyzer.jar包，它是一个开源的中文分词器，如果不使用这个分词器，那么将无法解析中文，比如说我的第一篇关于Lucene的博客就无法解析中文字符串！