Carbondata源码系列（二）文件格式详解

在上一章当中，写了文件的生成过程。这一章主要讲解文件格式（V3版本）的具体细节。

1、字典文件格式详解

字典文件的作用是在存储的时候将字符串等类型转换为int类型，好处主要有两点：

1、减少存储占用空间

2、用在需要group by的字段上比较合适，可以减少计算时的shuffle的数据量。

每一个字典列都有对应的三种文件.dict, .sortindex, .dictmeta文件，输出格式都是thrift格式

1.1 .dict文件

字典的值每满1000就作为一个chunk输出一次，具体的类是ColumnDictionaryChunk

相关参数：

carbon.dictionary.chunk.size

1.2 .sortindex文件

把字段的值sort了一下之后，计算出每个值的sortIndex和invertedIndex，具体的类是ColumnSortInfo

1、List<SortIndex>，记录着每个字典值的surrogate，从1开始

2、List<SortInvertedIndex>，记录着每个字典surrogate在数组中的位置，从1开始

它们的关系如下：

      sortIndex[i] = dictionarySortModel.getKey();
      // the array index starts from 0 therefore -1 is done to avoid wastage
      // of 0th index in array and surrogate key starts from 1 there 1 is added to i
      // which is a counter starting from 0
      sortIndexInverted[dictionarySortModel.getKey() - ] = i + ;

假设字典值是beijing，shenzhen，shanghai

城市	surrogate	sortIndex	invertIndex
beijing	1	1	1
shenzhen	2	3	3
shanghai	3	2	2

1.3 .dictmeta文件

该文件主要记录字典的以下属性，具体的类是ColumnDictionaryChunkMeta

1、最小key

2、最大的key

3、开始offset

4、结束offset

5、chunk的数量

2、数据文件详解

2.1 数据块的组成部分

CarbonRow在sort阶段会被分成3个部分:

1、字典列（mdk，SORT_COLUMNS都是字典列）

2、非字典维度列和高基数列

3、度量值列

在写入的时候，先写入到TablePage里，TablePage会把数据拆分成4部分

// one vector to make it efficient for sorting
private ColumnPage[] dictDimensionPages;
private ColumnPage[] noDictDimensionPages;
private ComplexColumnPage[] complexDimensionPages;
private ColumnPage[] measurePages;

每个TablePage都会记录以下几个Key：

private byte[][] currentNoDictionaryKey;
// MDK start key
private byte[] startKey;
// MDK end key
private byte[] endKey;
// startkey for no dictionary columns
private byte[][] noDictStartKey;
// endkey for no diciotn
private byte[][] noDictEndKey;
// startkey for no dictionary columns after packing into one column
private byte[] packedNoDictStartKey;
// endkey for no dictionary columns after packing into one column
private byte[] packedNoDictEndKey;

数据在一行一行写到TablePage之后，最后会做一次统一的编码，详细的方法请看TablePage的encode方法。

Page的meta信息

  private DataChunk2 buildPageMetadata(ColumnPage inputPage, byte[] encodedBytes)
      throws IOException {
    DataChunk2 dataChunk = new DataChunk2();
    dataChunk.setData_page_length(encodedBytes.length);
    fillBasicFields(inputPage, dataChunk);
    fillNullBitSet(inputPage, dataChunk);
    fillEncoding(inputPage, dataChunk);
    fillMinMaxIndex(inputPage, dataChunk);
    fillLegacyFields(dataChunk);
    return dataChunk;
  }

一个blocket的阈值是64MB，一个blocket包括N个TablePage，当写满一个TablePage之后，就把blocket写入到文件当中。

carbondata的BTree索引，是一个记录着每个Blocklet的mdk的startKey和endKey，以及Blocklet当中所有TablePage的列的最大最小值

那么数据文件的详细格式，基本和官网上介绍的是一致的

2.2 What is MDK

mdk和hbase的rowkey是一个性质的，详细可以看下面这张图，排序方式跟hbase没有任何区别

3、索引文件详解

索引文件以.carbonindex结尾

索引文件包括三个部分：索引头，索引两部分

索引头包括：

1、文件格式版本(当前版本是V3)

2、Segment信息（有多少列，列的基数）

3、列的信息

4、bucket ID

索引信息包括以下信息：

1、Blocket的记录数

2、数据文件名

3、Blocket的meta信息offset

3、BlockletIndex (BTree索引，包含blocket的startKey、endKey，以及每一列的最大最小值，这个前面已经讲过了)

4、BlocketInfo（记录数，每个TablePage的offset，每个TablePage的长度，维度列dimension_offsets的起始位置，度量值measure_offsets的起始位置，有多少个TablePagenumber_number_of_pages）

索引文件的信息在文件的footer当中也是存在的，在carbondata1.2当中索引文件还是有很多个，感觉有点多余。

到carbondata1.3会被合并成一个文件，这样就能大大缩短启动的时候加载索引的开销。

岑玉海

转载请注明出处，谢谢！