Go语言实战 - 我需要站内搜索

山坡网的用户抱怨“为什么搜索‘二鬼子李富贵’找不到‘二鬼子汉奸李富贵’？我用百度搜都能找到。”

当时我就滴汗了，用户说的有道理，应该要能搜索到。

之前的方案很简单，用户输入的字串会在数据库里做正则表达式匹配，以便用“二鬼子”能搜到“二鬼子汉奸李富贵”。事实证明，我想当然了，即便是这么简单的一个书名搜索，也不能马虎。

那就来分析一下怎么做吧，即便不是专业做搜索的，思路上也可以先YY一下。按照本能，先把问题大而化小。

1. 先把搜索字符串进行中文分词。

2. 用词组在数据库里做 or 包含匹配。

3. 搜索出来的结果按与搜索条件相关度排序。

看起来也不难（玩笑话，每一条水都很深），一条一条来解决。

1. 中文分词。

我找了一下，免费的不多，选择了盘古分词的Go语言Port。从Github看到，代码是四个月以前的了，字典文件有些老。所以我在盘古网站上下载了最新的字典，测试了一下Go的代码，运行结果良好。

这个Port可能蛮久没有更新过，代码的结构不能直接go get，需要自己下载src里面的segment文件夹出来使用。

我把新的字典文件全都放到了revel app的conf文件夹里，如下图所示。

然后在Controller.Init方法里加上初始化代码。

revel.OnAppStart(func() {
   segHandler = segment.NewSegment()
   err := segHandler.Init(path.Join(revel.ConfPaths[0], "dicts"))
   if err != nil {
     glog.Fatalln("Failed to init segment handler", err)
   }

然后在需要的地方就可以开始用它分词了。

//对搜索的字符串进行分词
searchKey := "(" + key + "|"

segs := segHandler.DoSegment(key)
for cur := segs.Front(); cur != nil; cur = cur.Next() {
word := cur.Value.(*dict.WordInfo)
if word.Word != "的" {
searchKey += word.Word + "|"
}
}

searchKey = strings.TrimRight(searchKey, "|") + ")"

searchResults, pageSum, err := d.findBookBy(M{"$or": []M{
M{"title": M{"$regex": searchKey}},
M{"author": M{"$regex": key}},
M{"category": M{"$regex": key}}}}, "-score", pageNum, numPerPage)
if err != nil {
return nil, pageSum, err
}

思路是把搜索条件分成词组，再组合成正则表达式，比如“二鬼子李富贵”变成“(二|鬼子|李富贵)”，然后使用mongodb的正则查询。

这里我把“的”字去掉了，因为中文里面“的”字用的太多了，基本没有查询价值。

2. 搜索出来的结果按与搜索条件相关度排序。

搜索引擎里，这部分是技术含量最大的。我这边只是牛刀小试，所以方案简单很多，把搜索出来的书籍标题与搜索条件比对相似度。

正好，字符串比对相似度的库我之前Port过一个，叫做simhash（当时为什么port我都忘了，哈，工具箱里东西多还是有好处的！）。算法具体就不多说了，免得跑题。看用法吧。

needle := "Reading bytes into structs using reflection"

hayStack := "Golang - mapping an variable length array to a struct"

likeness := GetLikenessValue(needle, hayStack)

fmt.Println("Likeness:", likeness)

就一个函数，输入两个字符串，输出一个从0到1的浮点数，代表相似百分比。

为了方便计算，我在SearchResult结构中加入了一个新的字段，OriginalQueryString，存储原始搜索条件，之后实现一下Sort接口。

type SearchResult struct {

Id bson.ObjectId "_id"

Title string

OriginQueryString string //原始的搜索条件，用于排序

}

type SearchResults []SearchResult

func (srs SearchResults) Len() int {

return len(srs)

}

func (srs SearchResults) Less(i, j int) bool {

likenessI := simhash.GetLikenessValue(srs[i].Title, srs[i].OriginQueryString)

likenessJ := simhash.GetLikenessValue(srs[j].Title, srs[j].OriginQueryString)

return likenessI < likenessJ

}

func (srs SearchResults) Swap(i, j int) {

srs[i], srs[j] = srs[j], srs[i]

}

就可以在搜索出来之后按照相关性排序了。

//为searchResult的OriginQueryString赋值，以便按照搜索相关性排序

for i, _ := range searchResults {

searchResults[i].OriginQueryString = key

}

sort.Sort(sort.Reverse(SearchResults(searchResults)))

我的实现到这里就完成了。

但其实有一部分很重要的东西我取巧了。由于使用模糊搜索，结果集的大小是无法预料的，全部取的话随时可能把内存用完。分批的话怎么保证相关性排序的准确性呢？好问题，这里是非常关键又很难做的部分，我取巧的方式是把书籍按评分排序，然后取前20个出来，仅仅在这20本书中做相似度排序。这并不是完美的方案，仅仅只是够用。

后期如果有时间，可以用mongodb的游标做一个即省内存又靠谱的实现。