输入法词库解析（一）百度自定义方案.def

详细代码：https://github.com/cxcn/dtool

前言

.def 是百度手机输入法-更多设置-自定义输入方案所使用的格式。

解析

码表偏移量 0x6D

#	占用字节数	描述
a	1	编码长度（红色框）
b	1	词长 * 2 + 2
	a	编码（黄色框），可以是纯编码，也可以是 编码=位置
	b-2	词（绿色框），utf16-le 编码
	6	6 个空字节代表词条结束

代码实现：

    r.Seek(0x6D, 0) // 从 0x6D 开始读
    for r.Len() > 4 {
        codeLen, _ := r.ReadByte()  // 编码长度
        wordSize, _ := r.ReadByte() // 词长*2 + 2

        // 读编码
        tmp = make([]byte, int(codeLen))
        r.Read(tmp) // 编码切片
        code := string(tmp)
        spl := strings.Split(code, "=") // 直接删掉 = 号后的
        code = spl[0]

        // 读词
        tmp = make([]byte, int(wordSize)-2) // -2 后就是字节长度，没有考虑4字节的情况
        r.Read(tmp)
        word, _ := util.Decode(tmp, "UTF-16LE")
        // def = append(def, defEntry{word, code, order})
        ret = append(ret, Entry{word, code, 1})

        r.Seek(6, 1) // 6个00，1是相对当前位置
    }

生成

码表部分和解析一样的，没什么好说的。

主要考虑前 0x6C(109) 个字节。

第一个字节意义不明，可能是最大码长（一般是 0，有的码表里是 4）

后面每 4 字节一组，共 27 组。

表示以 26 个首字母开头词条的字节长度累加（不包括前 2 个表示长度的字节，包括后 6 个 0）

计算时，统计每个首字母的长度累计，写入时再次累加。

代码实现：

func (BaiduDef) Gen(table Table) []byte {
    jdt := ToJdTable(table)
    var buf bytes.Buffer
    // 首字母词条字节数统计
    lengthMap := make(map[byte]int)
    buf.Write(make([]byte, 0x6D))

    for _, v := range jdt {
        code := v.Code

        for i, word := range v.Words {
            if i != 0 { // 不在首选的写入位置信息，好像没什么用？
                code = v.Code + "=" + strconv.Itoa(i+1)
            }
            sliWord, _ := util.Encode([]byte(word), "UTF-16LE") // 转为utf-16le
            buf.WriteByte(byte(len(code)))                      // 写编码长度
            buf.WriteByte(byte(len(sliWord) + 2))               // 写词字节长+2
            buf.WriteString(code)                               // 写编码
            buf.Write(sliWord)                                  // 写词
            buf.Write([]byte{0, 0, 0, 0, 0, 0})                 // 写6个0

            // 编码长度 + 词字节长 + 6，不包括长度本身占的2个字节
            lengthMap[code[0]] += len(code) + len(sliWord) + 2 + 6
        }
    }

    // 文件头
    byteList := make([]byte, 0, 0x6D)
    byteList = append(byteList, 0) // 第一个字节可能是最大码长？
    // 长度累加
    var currNum int
    for i := 0; i <= 26; i++ {
        currNum += lengthMap[byte(i+0x60)]
        currBytes := make([]byte, 4)
        binary.LittleEndian.PutUint32(currBytes, uint32(currNum))
        byteList = append(byteList, currBytes...)
    }
    // 替换文件头
    ret := buf.Bytes()
    copy(ret, byteList)
    return ret
}

---

参考资料：

DictTool 词库处理工具