Hbase RIT故障修复

业务场景：

RocketMQ+Storm+Hbase

组件版本：

RocketMQ：3.4.6

Storm：1.2.1

Hbase：1.2.1

1. 问题描述

4月15号早上发现业务系统前一天数据量明显偏低，查看系统发现storm入Hbase的TPS很低，甚至为0。

2. 问题定位

通过查看Hbase和Storm监控页面，发现dscn18节点不在服务中，远程连接比较卡顿，去机房查看没有报警，通过终端查看HRegionServer和Supervisor进程都在，15号上午11点多查看系统日志：/var/log/message:

系统日志：

重启后，日志变为正常

综上判断可能是因为网络通信原因导致dscn18节点异常。

Hbase日志：显示dscn18，region已下线

Storm日志：显示连接超时

Hbase监控页面：RIT问题

综上，可判断，由于dscn18节点连接异常，导致当前节点Hbase和Storm的服务异常，另外Hbase出现RIT，会影响Hbase的写入。

3. 解决过程

当时尝试重启拓扑，但写入TPS很低，后来将dscn18的Regionserver下线，效果仍不理想，最后决定做Hbase在线修复（dscn18已下线）：

当时Hbase状态：

步骤：

1. hbase hbck 检查输出所以ERROR信息，每个ERROR都会说明错误信息。

2. hbase hbck -fixTableOrphans 先修复tableinfo缺失问题，根据内存cache或者hdfs table 目录结构，重新生成tableinfo文件。

3. hbase hbck -fixHdfsOrphans 修复regioninfo缺失问题，根据region目录下的hfile重新生成regioninfo文件。

4. hbase hbck -fixHdfsOverlaps 修复region重叠问题，merge重叠的region为一个region目录，并从新生成一个regioninfo。

5. hbase hbck -fixHdfsHoles 修复region缺失，利用缺失的rowkey范围边界，生成新的region目录以及regioninfo填补这个空洞。

6. hbase hbck -fixMeta 修复meta表信息，利用regioninfo信息，重新生成对应meta row填写到meta表中，并为其填写默认的分配regionserver。

7. hbase hbck -fixAssignments 把这些offline的region触发上线，当region开始重新open 上线的时候，会被重新分配到真实的RegionServer上 , 并更新meta表上对应的行信息。

另外，当执行完所有修复步骤后仍然有：

ERROR: Empty REGIONINFO_QUALIFIER found in hbase:meta

执行：

hbase hbck -fixEmptyMetaCells

当时修复了近三个小时，修复完成后，重启了Hbase，RIT异常解决了，再次检查出现了新的问题：

1、元数据缺失

2、region重叠

再利用之前的修复命令无法修复。通过协商得到解决办法：

针对1:

通过执行hbase hbck -fixEmptyMetaCells

修复 ERROR: Empty REGIONINFO_QUALIFIER found in hbase:meta

针对2：

delete 'hbase:meta','DBN_YTO,601889669485241086,1536145292692.f47aaa41740bf9d99b1cc19b3de29d9b.','info:regioninfo'

delete 'hbase:meta','DBN_YTO,601889669485241086,1546409804387.7795e5726f6f9e018cfa2fe93b20556d.','info:regioninfo'

hdfs dfs -rm -r /hbase/data/default/DBN_YTO/f47aaa41740bf9d99b1cc19b3de29d9b

hdfs dfs -rm -r /hbase/data/default/DBN_YTO/7795e5726f6f9e018cfa2fe93b20556d

最后执行：

hbase hbck -fixAssignments -fixMeta -fixHdfsHoles

Hbase状态为正常，到此Hbase修复完毕！

之后重启合并Storm，个别端口连接被占用，重启Storm后检查无僵尸进程，最终将worker数由400改为340（17个Storm节点），任务启动成功，总TPS达到8万左右，到此问题解决完毕。

4. 总结

Hbase在线修复之前首先保证停掉相关业务，并且确保所有region都在线，否则修复可能会产生重复region，另外确保hbase根目录下文件没有损坏丢失，如果有，先移除掉，再修复。

移除命令：

hdfs fsck -delete

/hbase/back/SJYB_FEDEX/fedex_back/e90da00b658869d9e8ec90b871637adc/if/5612ded9b14341e19160bdc7238bf4da