【Lucene】三个高亮显示模块的简单示例-Highlighter

Lucene针对高亮显示功能提供了两种实现方式,分别是Highlighter和FastVectorHighlighter

这里的三个示例都是使用Highlighter；

示例代码：

1. package com.tan.code;
2. import java.io.File;
3. import java.io.IOException;
4. import java.io.StringReader;
5. import org.apache.lucene.analysis.TokenStream;
6. import org.apache.lucene.analysis.core.SimpleAnalyzer;
7. import org.apache.lucene.document.Document;
8. import org.apache.lucene.index.DirectoryReader;
9. import org.apache.lucene.index.IndexReader;
10. import org.apache.lucene.index.Term;
11. import org.apache.lucene.queryparser.classic.ParseException;
12. import org.apache.lucene.queryparser.classic.QueryParser;
13. import org.apache.lucene.search.IndexSearcher;
14. import org.apache.lucene.search.Query;
15. import org.apache.lucene.search.ScoreDoc;
16. import org.apache.lucene.search.TermQuery;
17. import org.apache.lucene.search.TopDocs;
18. import org.apache.lucene.search.highlight.Highlighter;
19. import org.apache.lucene.search.highlight.InvalidTokenOffsetsException;
20. import org.apache.lucene.search.highlight.QueryScorer;
21. import org.apache.lucene.search.highlight.SimpleHTMLFormatter;
22. import org.apache.lucene.search.highlight.SimpleSpanFragmenter;
23. import org.apache.lucene.search.highlight.TokenSources;
24. import org.apache.lucene.store.Directory;
25. import org.apache.lucene.store.SimpleFSDirectory;
26. import org.apache.lucene.util.Version;
27. import org.wltea.analyzer.lucene.IKAnalyzer;
28. public class HighlighterTest {
29. // 高亮處理文本（以下内容纯属虚构）
30. private String text = "China has lots of people,most of them are very poor.China is very big.China become strong now,but the poor people is also poor than other controry";
31. // 原文高亮
32. public void highlighter() throws IOException, InvalidTokenOffsetsException {
33. TermQuery termQuery = new TermQuery(new Term("field", "china"));
34. TokenStream tokenStream = new SimpleAnalyzer(Version.LUCENE_43)
35. .tokenStream("field", new StringReader(text));
36. QueryScorer queryScorer = new QueryScorer(termQuery);
37. Highlighter highlighter = new Highlighter(queryScorer);
38. highlighter.setTextFragmenter(new SimpleSpanFragmenter(queryScorer));
39. System.out.println(highlighter.getBestFragment(tokenStream, text));
40. }
41. // 使用CSS進行高亮顯示處理
42. public void highlighter_CSS(String searchText) throws ParseException,
43. IOException, InvalidTokenOffsetsException {
44. // 創建查詢
45. QueryParser queryParser = new QueryParser(Version.LUCENE_43, "field",
46. new SimpleAnalyzer(Version.LUCENE_43));
47. Query query = queryParser.parse(searchText);
48. // 自定义标注高亮文本标签
49. SimpleHTMLFormatter htmlFormatter = new SimpleHTMLFormatter(
50. "<span style=\"backgroud:red\">", "</span>");
51. // 语汇单元化
52. TokenStream tokenStream = new SimpleAnalyzer(Version.LUCENE_43)
53. .tokenStream("field", new StringReader(text));
54. // 創建QueryScoer
55. QueryScorer queryScorer = new QueryScorer(query, "field");
56. Highlighter highlighter = new Highlighter(htmlFormatter, queryScorer);
57. highlighter.setTextFragmenter(new SimpleSpanFragmenter(queryScorer));
58. System.out.println(highlighter.getBestFragments(tokenStream, text, 4,
59. "..."));
60. }
61. // 高亮顯示搜索結果
62. public void highlighter_SR(String field, String searchText)
63. throws IOException, ParseException, InvalidTokenOffsetsException {
64. //本次示例为了简便直接使用之前实验建立的索引
65. Directory directory = new SimpleFSDirectory(new File("E://MyIndex"));
66. IndexReader reader = DirectoryReader.open(directory);// 读取目录
67. IndexSearcher search = new IndexSearcher(reader);// 初始化查询组件
68. QueryParser parser = new QueryParser(Version.LUCENE_43, field,
69. new IKAnalyzer(true));
70. Query query = parser.parse(searchText);
71. TopDocs td = search.search(query, 10000);// 获取匹配上元素的一个docid
72. ScoreDoc[] sd = td.scoreDocs;// 加载所有的Documnet文档
73. System.out.println("本次命中数据:" + sd.length);
74. QueryScorer scorer = new QueryScorer(query, "content");
75. Highlighter highlighter = new Highlighter(scorer);
76. highlighter.setTextFragmenter(new SimpleSpanFragmenter(scorer));
77. for (ScoreDoc scoreDoc : sd) {
78. Document document = search.doc(scoreDoc.doc);
79. String content = document.get("content");
80. TokenStream tokenStream = TokenSources.getAnyTokenStream(
81. search.getIndexReader(), scoreDoc.doc, "content", document,
82. new IKAnalyzer(true));
83. System.out.println(highlighter
84. .getBestFragment(tokenStream, content));
85. }
86. }
87. }

测试代码：

1. @Test
2. public void test() throws IOException, InvalidTokenOffsetsException,
3. ParseException {
4. // fail("Not yet implemented");
5. HighlighterTest highlighterTest = new HighlighterTest();
6. highlighterTest.highlighter();
7. highlighterTest.highlighter_CSS("china");
8. highlighterTest.highlighter_CSS("poor");
9. highlighterTest.highlighter_SR("content", "床前明月光");
10. }

测试结果：

1. <B>China</B> has lots of people,most of them are very poor。<B>China</B> is very big.<B>China</B> become strong now,but the poor people is also poor than other controry
2. <span style="backgroud:red">China</span> has lots of people,most of them are very poor。<span style="backgroud:red">China</span> is very big.<span style="backgroud:red">China</span> become strong now,but the poor people is also poor than other controry
3. China has lots of people,most of them are very <span style="backgroud:red">poor</span>。China is very big.China become strong now,but the <span style="backgroud:red">poor</span> people is also <span style="backgroud:red">poor</span> than other controry
4. 本次命中数据:1
5. <B>床</B><B>前</B><B>明月光</B>，疑是地上霜