Lucene 时间排序

在Lucene4.4中，想要实现搜索结果按照时间倒序的效果：如果两个文档得分相同，那么就按照发布时间倒序排列；否则就按照分数排列。这种效果在Lucene4.6中实现起来极其简单，直接利用search接口的Sort参数即可达成，完全不需要像某些人说的重写Similarity那么麻烦。三两行代码的事情，体现了Make it simple, stupid的精髓。

首先来看看测试例子，这个例子中我建立了四个文档，按照内容-发布日期来表示分别是：

2004年光棍节攻略 , 20041111

2005年光棍节攻略 , 20051111

2006年光棍节攻略 , 20061111

游戏攻略 ，20141111

统一使用“光棍节攻略”来搜索它们，用户希望最新的光棍节攻略排在第一。

如果不做排序处理的话，用户体验非常糟糕：

1. package com.hankcs.test;
2. import org.apache.lucene.analysis.Analyzer;
3. import org.apache.lucene.document.*;
4. import org.apache.lucene.index.*;
5. import org.apache.lucene.queries.CustomScoreQuery;
6. import org.apache.lucene.queries.function.FunctionQuery;
7. import org.apache.lucene.queryparser.classic.ParseException;
8. import org.apache.lucene.queryparser.classic.QueryParser;
9. import org.apache.lucene.search.*;
10. import org.apache.lucene.store.Directory;
11. import org.apache.lucene.store.LockObtainFailedException;
12. import org.apache.lucene.store.RAMDirectory;
13. import org.apache.lucene.util.Version;
14. import org.wltea.analyzer.lucene.IKAnalyzer;
15. import java.io.IOException;
16. /**
17. * @author hankcs
18. */
19. public class TestSortByTime
20. {
21. public static void main(String[] args)
22. {
23. // Lucene Document的主要域名
24. String fieldName = "text";
25. // 实例化IKAnalyzer分词器
26. Analyzer analyzer = new IKAnalyzer();
27. Directory directory = null;
28. IndexWriter iwriter;
29. IndexReader ireader = null;
30. IndexSearcher isearcher;
31. try
32. {
33. //索引过程**********************************
34. //建立内存索引对象
35. directory = new RAMDirectory();
36. //配置IndexWriterConfig
37. IndexWriterConfig iwConfig = new IndexWriterConfig(Version.LUCENE_46, analyzer);
38. iwConfig.setOpenMode(IndexWriterConfig.OpenMode.CREATE_OR_APPEND);
39. iwriter = new IndexWriter(directory, iwConfig);
40. //写入索引
41. for (int i = 0; i < 3; ++i)
42. {
43. int year = 2004 + i;
44. Document doc = new Document();
45. doc.add(new TextField(fieldName, year + "年光棍节攻略", Field.Store.YES));
46. doc.add(new IntField("date",  year * 10000 + 1111, Field.Store.YES));
47. iwriter.addDocument(doc);
48. }
49. // 加入一个干扰文档
50. Document doc = new Document();
51. doc.add(new TextField(fieldName, "游戏攻略", Field.Store.YES));
52. doc.add(new IntField("date",  20141111, Field.Store.YES));
53. iwriter.addDocument(doc);
54. iwriter.close();
55. //搜索过程**********************************
56. //实例化搜索器
57. ireader = DirectoryReader.open(directory);
58. isearcher = new IndexSearcher(ireader);
59. String keyword = "光棍节攻略";
60. //使用QueryParser查询分析器构造Query对象
61. QueryParser qp = new QueryParser(Version.LUCENE_46, fieldName, analyzer);
62. Query query = qp.parse(keyword);
63. System.out.println("Query = " + query);
64. //搜索相似度最高的5条记录
65. TopDocs topDocs = isearcher.search(query, 5);
66. System.out.println("命中：" + topDocs.totalHits);
67. //输出结果
68. ScoreDoc[] scoreDocs = topDocs.scoreDocs;
69. for (int i = 0; i < Math.min(5, scoreDocs.length); i++)
70. {
71. Document targetDoc = isearcher.doc(scoreDocs[i].doc);
72. System.out.print(targetDoc.getField(fieldName).stringValue());
73. System.out.print(" , " + targetDoc.getField("date").numericValue());
74. System.out.println(" , " + scoreDocs[i].score);
75. }
76. } catch (CorruptIndexException e)
77. {
78. e.printStackTrace();
79. } catch (LockObtainFailedException e)
80. {
81. e.printStackTrace();
82. } catch (IOException e)
83. {
84. e.printStackTrace();
85. } catch (ParseException e)
86. {
87. e.printStackTrace();
88. } finally
89. {
90. if (ireader != null)
91. {
92. try
93. {
94. ireader.close();
95. } catch (IOException e)
96. {
97. e.printStackTrace();
98. }
99. }
100. if (directory != null)
101. {
102. try
103. {
104. directory.close();
105. } catch (IOException e)
106. {
107. e.printStackTrace();
108. }
109. }
110. }
111. }
112. }

输出：

2004年光棍节攻略 , 20041111 , 0.71185887

2005年光棍节攻略 , 20051111 , 0.71185887

2006年光棍节攻略 , 20061111 , 0.71185887

游戏攻略 , 20141111 , 0.049675122

可以看到文档是严格按照分数排序的，如果分数相同，则按照索引顺序排序，导致最新的文章反而排在最下面。

使用search接口的Sort参数优化搜索结果：

1. package com.hankcs.test;
2. import org.apache.lucene.analysis.Analyzer;
3. import org.apache.lucene.document.*;
4. import org.apache.lucene.index.*;
5. import org.apache.lucene.queries.CustomScoreQuery;
6. import org.apache.lucene.queries.function.FunctionQuery;
7. import org.apache.lucene.queryparser.classic.ParseException;
8. import org.apache.lucene.queryparser.classic.QueryParser;
9. import org.apache.lucene.search.*;
10. import org.apache.lucene.store.Directory;
11. import org.apache.lucene.store.LockObtainFailedException;
12. import org.apache.lucene.store.RAMDirectory;
13. import org.apache.lucene.util.Version;
14. import org.wltea.analyzer.lucene.IKAnalyzer;
15. import java.io.IOException;
16. /**
17. * @author hankcs
18. */
19. public class TestSortByTime
20. {
21. public static void main(String[] args)
22. {
23. // Lucene Document的主要域名
24. String fieldName = "text";
25. // 实例化IKAnalyzer分词器
26. Analyzer analyzer = new IKAnalyzer();
27. Directory directory = null;
28. IndexWriter iwriter;
29. IndexReader ireader = null;
30. IndexSearcher isearcher;
31. try
32. {
33. //索引过程**********************************
34. //建立内存索引对象
35. directory = new RAMDirectory();
36. //配置IndexWriterConfig
37. IndexWriterConfig iwConfig = new IndexWriterConfig(Version.LUCENE_46, analyzer);
38. iwConfig.setOpenMode(IndexWriterConfig.OpenMode.CREATE_OR_APPEND);
39. iwriter = new IndexWriter(directory, iwConfig);
40. //写入索引
41. for (int i = 0; i < 3; ++i)
42. {
43. int year = 2004 + i;
44. Document doc = new Document();
45. doc.add(new TextField(fieldName, year + "年光棍节攻略", Field.Store.YES));
46. doc.add(new IntField("date",  year * 10000 + 1111, Field.Store.YES));
47. iwriter.addDocument(doc);
48. }
49. // 加入一个干扰文档
50. Document doc = new Document();
51. doc.add(new TextField(fieldName, "游戏攻略", Field.Store.YES));
52. doc.add(new IntField("date",  20141111, Field.Store.YES));
53. iwriter.addDocument(doc);
54. iwriter.close();
55. //搜索过程**********************************
56. //实例化搜索器
57. ireader = DirectoryReader.open(directory);
58. isearcher = new IndexSearcher(ireader);
59. String keyword = "光棍节攻略";
60. //使用QueryParser查询分析器构造Query对象
61. QueryParser qp = new QueryParser(Version.LUCENE_46, fieldName, analyzer);
62. Query query = qp.parse(keyword);
63. System.out.println("Query = " + query);
64. //搜索相似度最高的5条记录
65. Sort sort = new Sort(new SortField("text", SortField.Type.SCORE), new SortField("date", SortField.Type.INT, true));
66. TopDocs topDocs = isearcher.search(query, 5, sort);
67. System.out.println("命中：" + topDocs.totalHits);
68. //输出结果
69. ScoreDoc[] scoreDocs = topDocs.scoreDocs;
70. for (int i = 0; i < Math.min(5, scoreDocs.length); i++)
71. {
72. Document targetDoc = isearcher.doc(scoreDocs[i].doc);
73. System.out.print(targetDoc.getField(fieldName).stringValue());
74. System.out.print(" , " + targetDoc.getField("date").numericValue());
75. System.out.println(" , " + scoreDocs[i].score);
76. }
77. } catch (CorruptIndexException e)
78. {
79. e.printStackTrace();
80. } catch (LockObtainFailedException e)
81. {
82. e.printStackTrace();
83. } catch (IOException e)
84. {
85. e.printStackTrace();
86. } catch (ParseException e)
87. {
88. e.printStackTrace();
89. } finally
90. {
91. if (ireader != null)
92. {
93. try
94. {
95. ireader.close();
96. } catch (IOException e)
97. {
98. e.printStackTrace();
99. }
100. }
101. if (directory != null)
102. {
103. try
104. {
105. directory.close();
106. } catch (IOException e)
107. {
108. e.printStackTrace();
109. }
110. }
111. }
112. }
113. }

输出结果：

命中：4

2006年光棍节攻略 , 20061111 , NaN

2005年光棍节攻略 , 20051111 , NaN

2004年光棍节攻略 , 20041111 , NaN

游戏攻略 , 20141111 , NaN

我们看到“2006年光棍节攻略”因为时间比较新，并且相关性高，就排在了第一。“2005年光棍节攻略”相关度相同，因为时间旧就排在后面一点，而干扰文档“游戏攻略”即使时间最新，因为不相关的原因排在最后面。这种效果正好是我想要的，极大提升了用户体验。