【HBase】快速了解上手rowKey的设计技巧

为什么要设计rowKey

首先要弄明白一点，Regions的分区就是根据数据的rowKey处理的，而如果设计rowKey不合理，就会导致所有数据到一个分区，或者并没有很好地发挥预分区带来的负载均衡作用，还是会发生数据倾斜。

HBase中还有一个就是rowKey的热点问题，因为rowKey是根据字典顺序排序的，如果rowKey设计不合理，当大量的client访问hbase集群的一个或少数几个节点，造成少数region server的读/写请求过多、负载过大，而其他region server负载却很小，就造成了“热点”现象。

热点问题会造成热点region所在的单个主机负载过大，引起性能下降甚至region不可用。

而热点问题产生的原因一般是因为大量连续编号的rowKey，导致相近的记录存在个别Region中，当client检索此类记录时，可能只会调用个别Region，大量访问将会导致此Region所在的主机过载。

下面就说一下rowKey设计的三个原则和热点问题的解决办法。

三大原则

长度原则

1.rowKey是二进制码流，可以是任意字符串，最大长度是64kb，实际应用一般为10-100 bytes，以 byte[] 形式保存

2.所以rowKey不能设计得过长，否则会导致占用内存空间过大，限制就是上面提到的64kb

散列原则

1.一般建议将rowKey的高位设置为散列字段，由系统随机生成什么是高位？就是rowKey的前面几个数字，如果前面几个为散列字段，就大大降低了相似记录和数据使用大量连续编号rowKey的问题

2.低位放时间字段，因为如果高位为时间字段，还是会导致热点问题，解决热点问题的核心就是不要让所有相似数据集中在一个RegionServer上

唯一原则

很简单，rowKey必须为唯一，因为如果出现重复的rowKey，最新存储的会将之前相同rowKey的数据作一次更新替换

热点问题的解决

加盐

通俗地说，就是在rowKey前面加随机数，这样能让rowKey随机生成分布到各个Region上

比如现在又三条数据，1111,1112,1113，如果不对其做处理，那这三条数据都会发送到同一个Region中，如果进行加盐，变成了 2341_1111,4232_1112,6442_1113，这样三条数据就会随机分布

哈希

哈希会使同一行永远用一个前缀加盐。哈希也可以使负载分散到整个集群，但是读却是可以预测的。使用确定的哈希可以让客户端重构完整的rowkey，可以使用get操作准确获取某一个行数据。

反转

就是反转固定长度或数字格式的rowKey，手机号就是最好的例子，因为我们知道同一运营商的后四位一般不会重复，而前三位会有大量重复，所以将其反转就可以快速有效地得到随机rowKey，但是这样也牺牲了rowKey的有序性

时间戳反转

一个常见的数据处理问题是快速获取数据的最近版本，使用反转的时间戳作为rowkey的一部分对这个问题十分有用，可以用 Long.Max_Value - timestamp 追加到key的末尾，例如 [key][reverse_timestamp] , [key] 的最新值可以通过scan [key]获得[key]的第一条记录，因为HBase中rowkey是有序的，第一条记录是最后录入的数据。