Solr4.8.0源码分析(8)之Lucene的索引文件(1)

Solr4.8.0源码分析(8)之Lucene的索引文件(1)

题记:最近有幸看到觉先大神的Lucene的博客，感觉自己之前学习的以及工作的太为肤浅，所以决定先跟随觉先大神的博客学习下Lucene的原理。由于觉先大神主要介绍的是Lucene3.X系的，那我就根据源码以及结合觉先大神的来学习下4.X系的。内容可能会有些变化，且加入下我个人的理解。

http://www.cnblogs.com/forfuture1978/archive/2009/12/14/1623597.html

一. 基本类型

Lucene索引文件中，用一下基本类型来保存信息：

• Byte：是最基本的类型，长8位(bit)，应该也是Lucene的最小单位了吧。
• Short：由两个Byte组成。
• Int   ：由4个Byte组成。
• Long：由8个Byte组成。
• VInt：
  • 变长的整数类型，它可能包含多个Byte，对于每个Byte的8位，其中后7位表示数值，最高1位表示是否还有另一个Byte，0表示没有，1表示有。
  • 1到5个字节之间。
  • 越前面的Byte表示数值的低位，越后面的Byte表示数值的高位。
  • 例如130化为二进制为 1000, 0010，总共需要8位，一个Byte表示不了，因而需要两个Byte来表示，第一个Byte表示后7位，并且在最高位置1来表示后面还有一个Byte，所以为(1) 0000010，第二个Byte表示第8位，并且最高位置0来表示后面没有其他的Byte了，所以为(0) 0000001。

 Value    Byte 1    Byte 2    Byte 3
 0    00000000
 1    00000001
 2    00000010
 ...
 127    01111111
 128    10000000    00000001
 129    10000001    00000001
 130    10000010    00000001
 ...
 16,383    11111111    01111111
 16,384    10000000    10000000    00000001
 16,385    10000001    10000000    00000001
 ...

• VLong:
  • 变长的Long型，规则同VInt一样，最大字节数不同。
  • 在1到9个字节之间

• Char：是UTF-8编码的一系列Byte。
• String：一个字符串首先是一个VInt来表示此字符串包含的字符的个数，接着便是UTF-8编码的字符序列Chars。

关于类型可以从Dataoutput.java 和 DataInput.java 上查看,以Dataoutput.java为例

• Int的存储方式，经过移位，分别存储为4个Byte

   /** Writes an int as four bytes.
    * <p>
    * 32-bit unsigned integer written as four bytes, high-order bytes first.
    *
    * @see DataInput#readInt()
    */
   public void writeInt(int i) throws IOException {
     writeByte((byte)(i >> 24));
     writeByte((byte)(i >> 16));
     writeByte((byte)(i >>  8));
     writeByte((byte) i);
   }

• VInt的存储方式，可以看到首先与127作与操作，即判断是否大于127，若大于127就将第8位设1(表示还有下一字节），写入Byte并进行移位(除以127)；否则就直接写入Byte（表示没有下一字节）

   public final void writeVInt(int i) throws IOException {
     while ((i & ~0x7F) != 0) {
       writeByte((byte)((i & 0x7F) | 0x80));
       i >>>= 7;
     }
     writeByte((byte)i);
   }

• Long和VLong跟Int和VInt类似，这里就不再具体描述
• String类型的存储方式，String类型的存储是首先将String转换成UTF-8格式，然后存储一个Vint型的UTF-8字符串字符个数，最后实际的Bytes格式存储

   public void writeString(String s) throws IOException {
     final BytesRef utf8Result = new BytesRef(10);
     UnicodeUtil.UTF16toUTF8(s, 0, s.length(), utf8Result);
     writeVInt(utf8Result.length);
     writeBytes(utf8Result.bytes, 0, utf8Result.length);
   }

二.基本规则

Lucene为了使的信息的存储占用的空间更小，访问速度更快，采取了一些特殊的技巧，然而在看Lucene文件格式的时候，这些技巧却容易使我们感到困惑，所以有必要把这些特殊的技巧规则提取出来介绍一下。

规则的命名采用觉先大神的。

1.前缀后缀规则(Prefix+Suffix)

    Lucene在反向索引中，要保存词典(Term Dictionary)的信息，所有的词(Term)在词典中是按照字典顺序进行排列的，然而词典中包含了文档中的几乎所有的词，并且有的词还是非常的长的，这样索引文件会非常的大。所谓前缀后缀规则，即当某个词和前一个词有共同的前缀的时候，后面的词仅仅保存前缀在词中的偏移(offset)，以及除前缀以外的字符串(称为后缀)，这样的好处就是能大大缩短存储空间。

比如要存储如下词:term，termagancy，termagant，terminal，

如果按照正常方式来存储，需要的空间如下(前面讲到String类型的存储是Vint+字符串格式的)：

[VInt = 4] [t][e][r][m]，[VInt = 10][t][e][r][m][a][g][a][n][c][y]，[VInt = 9][t][e][r][m][a][g][a][n][t]，[VInt = 8][t][e][r][m][i][n][a][l]

共需要35个Byte.

如果应用前缀后缀规则，需要的空间如下：

[VInt = 4] [t][e][r][m]，

[VInt = 4 (offset)][VInt = 6][a][g][a][n][c][y]，   表示存储6个，且前面获取4个

[VInt = 8 (offset)][VInt = 1][t]，                         表示存储1个，且前面获取8个

[VInt = 4(offset)][VInt = 4][i][n][a][l]                 表示存储4个，且前面获取4个

共需要22个Byte。

大大缩小了存储空间，尤其是在按字典顺序排序的情况下，前缀的重合率大大提高。

2. 差值规则(Delta)

前缀后缀规则是对应String类型，那么差值规则则应用于数字类型。

在Lucene的反向索引中，需要保存很多整型数字的信息，比如文档ID号，比如词(Term)在文档中的位置等等。

由上面介绍，我们知道，整型数字是以VInt的格式存储的。随着数值的增大，每个数字占用的Byte的个数也逐渐的增多。所谓差值规则(Delta)就是先后保存两个整数的时候，后面的整数仅仅保存和前面整数的差即可。

比如要存储如下整数：16386，16387，16388，16389

如果按照正常方式来存储，需要的空间如下：

[(1) 000, 0010][(1) 000, 0000][(0) 000, 0001]，[(1) 000, 0011][(1) 000, 0000][(0) 000, 0001]，[(1) 000, 0100][(1) 000, 0000][(0) 000, 0001]，[(1) 000, 0101][(1) 000, 0000][(0) 000, 0001]

供需12个Byte。

如果应用差值规则来存储，需要的空间如下：

[(1) 000, 0010][(1) 000, 0000][(0) 000, 0001]，[(0) 000, 0001]，[(0) 000, 0001]，[(0) 000, 0001]

共需6个Byte。

大大缩小了存储空间，而且无论是文档ID，还是词在文档中的位置，都是按从小到大的顺序，逐渐增大的。

3. 或然跟随规则(A, B?)

4. 跳跃表规则(Skip list)

为了提高查找的性能，Lucene在很多地方采取的跳跃表的数据结构。

跳跃表(Skip List)是如图的一种数据结构，有以下几个基本特征：

• 元素是按顺序排列的，在Lucene中，或是按字典顺序排列，或是按从小到大顺序排列。
• 跳跃是有间隔的(Interval)，也即每次跳跃的元素数，间隔是事先配置好的，如图跳跃表的间隔为3。
• 跳跃表是由层次的(level)，每一层的每隔指定间隔的元素构成上一层，如图跳跃表共有2层。

需要注意一点的是，在很多数据结构或算法书中都会有跳跃表的描述，原理都是大致相同的，但是定义稍有差别：

• 对间隔(Interval)的定义： 如图中，有的认为间隔为2，即两个上层元素之间的元素数，不包括两个上层元素；有的认为是3，即两个上层元素之间的差，包括后面上层元素，不包括前面的上层元素；有的认为是4，即除两个上层元素之间的元素外，既包括前面，也包括后面的上层元素。Lucene是采取的第二种定义。
• 对层次(Level)的定义：如图中，有的认为应该包括原链表层，并从1开始计数，则总层次为3，为1，2，3层；有的认为应该包括原链表层，并从0计数，为0，1，2层；有的认为不应该包括原链表层，且从1开始计数，则为1，2层；有的认为不应该包括链表层，且从0开始计数，则为0，1层。Lucene采取的是最后一种定义。

跳跃表比顺序查找，大大提高了查找速度，如查找元素72，原来要访问2，3，7，12，23，37，39，44，50，72总共10个元素，应用跳跃表后，只要首先访问第1层的50，发现72大于50，而第1层无下一个节点，然后访问第2层的94，发现94大于72，然后访问原链表的72，找到元素，共需要访问3个元素即可。

三. 索引文件类型

索引文件类型主要包括以下：

文件名	文件后缀名	简介
Segments File	segments.gen, segments_N	一次提交操作的信息
Lock File	write.lock	写入锁，防止多个indexwriter同时操作相同文件
Segment Info	si	存储segment信息
Compound File	.cfs, .cfe	复合文件类型
Fields	.fnm	存储域信息
Field Index	.fdx	存储指向域数据的索引信息
Field Data	.fdt	存储域的元数据
Term Dictionary	.tim	存储词典以及域信息
Term Index	.tip	指向词典的索引信息
Frequencies	.doc	存储文档集包含词的频率信息，即某个词被文档引用的频率
Positions	.pos	存储词的位置信息
Payloads	.pay	存储附加到每个位置的元数据信息，如字符偏移量和用户的自定义信息（？）
Norms	.nvd, .nvm	文件和域的length和boost
Per-Document Values	.dvd, .dvm	存储了编码了的文档和域的长度和影响因子
Term Vector Index	.tvx	存储term在文档中的偏移量
Term Vector Documents	.tvd	存储每篇文档包含的term向量
Term Vector Fields	.tvf	存储term向量的域级别（？）信息
Deleted Documents	.del	存储删除的文档

四. Lock File

　　write.lock的作用是在同一时间内只有一个indexwriter在进行写入索引文件操作。如果write.lock文件跟索引文件不是相同路径，那么write.lock就会以索引文件的绝对路径作为前缀XXXX-write.lock

五. 正向与反向索引

Lucene的索引文件分为正向索引和反向索引，正向索引包括从Index开始到Segment再到Document再到Field再到Term的这样一个层次，正向索引文件主要作用我认为是提供索引信息以及数据的存储。而反向索引是包含了Term到Document映射的过程，它提供一个由term查找document的功能。

所谓正向信息：

• 按层次保存了从索引，一直到词的包含关系：索引(Index) –> 段(segment) –> 文档(Document) –> 域(Field) –> 词(Term)
• 也即此索引包含了那些段，每个段包含了那些文档，每个文档包含了那些域，每个域包含了那些词。
• 既然是层次结构，则每个层次都保存了本层次的信息以及下一层次的元信息，也即属性信息，比如一本介绍中国地理的书，应该首先介绍中国地理的概况，以及中国包含多少个省，每个省介绍本省的基本概况及包含多少个市，每个市介绍本市的基本概况及包含多少个县，每个县具体介绍每个县的具体情况

所谓反向信息：

• 保存了词典到倒排表的映射：词(Term) –> 文档(Document)