HBase之行信息简析

　　这一节我们简单介绍一下HBase的行信息。文章前半部分会对照源码介绍，后面会有我自己画的图，大家如果对这些信息已经比较了解了，跳过源码对照部分看后面的图，加深一下印象。

　　下面简单分析一下HBase中对于每一行的存储，这个知识点至关重要，以至于会影响到我们在后面的很多流程的分析。

　　根据下图，我们可以得到以下分析：

　　1.首先计算了keyLength，让我们来到KeyValue.getKeyDataStructureSize。可以看到这里有一个常量KEY_INFRASTRUCTURE_SIZE。

　　其中常量由以下三部分组成

　　ROW_LENGTH_SIZE + FAMILY_LENGTH_SIZE + TIMESTAMP_TYPE_SIZE

 

　　ROW_LENGTH_SIZE = Bytes.SIZEOF_SHORT

　　FAMILY_LENGTH_SIZE = Bytes.SIZEOF_BYTE

　　TIMESTAMP_TYPE_SIZE = TIMESTAMP_SIZE + TYPE_SIZE

　　TIMESTAMP_SIZE = Bytes.SIZEOF_LONG

　　TYPE_SIZE = Bytes.SIZEOF_BYTE

 　　也就是说，这里的KeyValue.getKeyDataStructureSize获得的是一行中除value以外的总长度。

　　2.接下来计算了总长度，让我们来到KeyValue.getKeyValueDataStructureSize。

　　让我们首先分析没有tags的长度。

　　来看两个公式：

　　1.KEYVALUE_INFRASTRUCTURE_SIZE = ROW_OFFSET

　　2.ROW_OFFSET =

　　　　Bytes.SIZEOF_INT /*keylength*/ +

　　　　Bytes.SIZEOF_INT /*valuelength*/;

　　由这两个公式我们就容易知道，这里的key的最大长度不得大于Integer.MAX

　　value的长度不得大于Integer.MAX_VALUE。

　　然后获取了key的总长度，最后获取了value的长度。这些就是这一行的总长度。

 　　接着我们来分析含tags的长度。

　　让我们先来看两个公式：

　　KEYVALUE_WITH_TAGS_INFRASTRUCTURE_SIZE = ROW_OFFSET + TAGS_LENGTH_SIZE

　　TAGS_LENGTH_SIZE = Bytes.SIZEOF_SHORT

　　这里的含义就是tags的总长度不得大于Short.MAX_VALUE。因此，其总长度的值相比没有tags，多了一个 Bytes.SIZEOF_SHORT，也多了一个tagsLength。

 

　　同样，我们可以从下面的图得到佐证。

　　其中row的长度不得大于Short.MAX_VALUE

　　family的长度不得大于Byte.MAX_VALUE

　　qualifier的长度不得大于Integer.MAX_VALUE - rlength - flength

　　也就是说row + family + qualifier的总长度不得大于Integer.MAX_VALUE

　　另外 2 + 1 + 8 + 1 + row + family + qualifier 的总长度不得大于Integer.MAX_VALUE

　　这里的2 + 1 + 8 + 1 就是KeyValue.KEY_INFRASTRUCTURE_SIZE

　　根据上面的分析我们就可以得出结论。每个Cell的byte[]中的存放数据的规则是这样的。

　　首先我们分析不含tags的长度：

　　2 Size of the row length field in bytes

　　1 Size of the family length field in bytes

　　8 Size of the timestamp field in bytes

　　1 Size of the key type field in bytes

　　rlength row length

　　flength family length

　　qlength qualifier length

　　以上的总长度为keyLength

　　vlength value length

　　上面的长度为vlength

 

　　keyLength vlength rlength row flength family qualifier timestamp type.getCode() value

 

　　下面我们分析含tags的长度：

　　上面的长度一样，只是在后面添加了一系列与tags相关的长度

 　  keyLength vlength rlength row flength family qualifier timestamp type.getCode() value

　　tagsLength tlen + Tag.TYPE_LENGTH_SIZE t.getType() tag.value ...

　　getKeyLength获取的是rlength row flength family qualifier timestamp type.getCode()

　　getValueLength获取的是value

　　也就是说这里的总长度为

　　4 keyLength

　　4 vlength

　　getKeyLength() = Bytes.toInt(this.bytes, this.offset)

　　getValueLength() = Bytes.toInt(this.bytes, this.offset + Bytes.SIZEOF_INT)

　　首先让我们来看一张图：这里我将上面用公式描述的进行了图形化展示。

　　根据上面这张图，大家可能很容易就理解了KeyValue.createByteArray方法了。接下来我们再简单介绍一下keyToString方法。这里引入一个方法toString()，主要是为了让大家知道上面方法的传参，也方便我接下来的讲解。

　　做一个解说，这里的ROW_OFFSET我们在上面讲过，是8个字节。

　　也就是说在keyToString方法中Bytes.toShort(b,o)获得的是rlength。由于偏移量是8，获取8后面的short的值，也就是上图所示的rlength。

　　接下来的columnoffset容易理解，这里就直接偏移到了family。

　　接着columnoffset - 1获取的也就是flength。

　　这里的columnlength稍有费解，不过根据上面的图，还是比较简单的，只是我在刚看的时候被蒙住了。

　　为了了解这里的columnlength，我们要清楚keyToString方法中传入的l，也就是在toStirng方法中调用的getKeyLength()。我在上面的图已经标出来了，包括我在上面也提到过keyLength。也就是说，这里的l就是keyLength。他在减去TIMESTAMP_TYPE_SIZE(9个字节，包括timestamp的8个字节与type.getCode的一个字节)，减去(columnoffset - o)后，获得的值就是qlength。也就是我们常说的列名。置于方法后面的内容我就不一一描述了，相信大家看了上面的图后就很清楚了。

很多同学可能觉得这一节并没有什么重要意义，其实我这里之所以作为一节来讲，是要作为一个铺垫，在晚上更新的《HBase之Table.put客户端流程》会提到这个流程，到时我就简单略过，因为那个流程会比较复杂。

　　这一节就简单介绍到这里，我的邮箱是15935152719@163.com，欢迎大家来信交流沟通相关技术。另外，如果感觉不错，希望留下你的赞。你的肯定是小编继续前进的动力。