HBase Region Assign流程详解

Hbase是kv存储，但是逻辑上我们可以把存储在hbase上的kv数据当成表，rowkey可以认为是表的主键。为了便于分布式操作，hbase会把表横向切分成一块一块的数据，而每块就是一个Region。为了提供在线服务，我们必须把Region加载到集群中的某台机器上，这个加载的过程正是region assign要做的。顺便说一句，hbase中把表切分region和HDFS中文件切分成block，Spark中RDD切分成partitions的思想都是一样的。

region assgin的流程

region assgin涉及到client，master，regionserver以及zk之间的交互。主要步骤如下：

1，client向master发送AssignRegion的RPC请求后（如当在hbase shell中运行assign命令），master响应该服务的入口函数为：

 public AssignRegionResponse assignRegion(RpcController controller,
       AssignRegionRequest req) throws ServiceException {
       ...
       //检查master端服务是否启动以及已经初始化
       master.checkInitialized();
       //协处理器preAssign
       ...

       //核心，使用AssignmentManager做region assignment
       master.assignmentManager.assign(regionInfo, true, true);
       //协处理器postAssign
       ...
 }

入口函数调用的assgin函数主要实现如下：

 public void assign(HRegionInfo region,
     boolean setOfflineInZK, boolean forceNewPlan) {
     //检查该table是否处于disable或者disabling状态
     //如果是，则忽略此次assign操作，并且如果该region处于RS_ZK_REGION_CLOSED,
     //M_ZK_REGION_OFFLINE状态，则删除RIT下该节点
     //另外，还会将master中该region相关的数据结构(RegionStates)的状态做相应设置
     if (isDisabledorDisablingRegionInRIT(region)) {
       return;
     }
     String encodedName = region.getEncodedName();
     //貌似主要是锁住该region对应的状态
     Lock lock = locker.acquireLock(encodedName);
     try {
       //根据该region当前的状态，进行相关预操作和过滤,
       //比如，如果region处于FAILED_CLOSE和FAILD_OPEN状态会先进行unassign操作
       //最终使得region处于offline状态
       forceRegionStateToOffline(region, forceNewPlan);

       //尝试maximumAttempts（默认10次），首先获取RegionPlan,
       //然后设置zk下RIT对应region的状态为M_ZK_REGION_OFFLINE
       //一切准备就绪后，master会设置regionStates为PENDING_OPEN状态，并且
       //向RegionServer发送OpenRegion请求
       assign(state, ...);
       }
     } finally {
       lock.unlock();
     }
   }

2，ReionServer响应OpenRegion的请求函数如下：

public OpenRegionResponse openRegion(final RpcController controller,
      final OpenRegionRequest request) throws ServiceException {
   ...
    //正常情况下，会交由OpenRegionHanlder来处理
    regionServer.service.submit(new OpenRegionHandler(
              regionServer, regionServer, region, htd,     masterSystemTime, coordination, ord));
   ...
   //打开后设置状态返回
   builder.addOpeningState(RegionOpeningState.OPENED);
}

而OpenRegionHandler中open region的核心代码process函数中：

 public void process() throws IOException {
     ...
     //transitionFromOfflineToOpening会将zk中该region的状态从M_ZK_REGION_OFFLINE状态设置成RS_ZK_REGION_OPENING状态
     if (useZKForAssignment
           && !coordination.transitionFromOfflineToOpening(reg...)

    //打开open region，细节暂时忽略
    openRegion()

    //transitionToOpened将zk中该region的状态从RS_ZK_REGION_OPENING设置成
    //RS_ZK_REGION_OPENED
    if (!isRegionStillOpening() ||
           (useZKForAssignment && !coordination.transitionToOpened(region, ord))) {
 }

3，接下来，再看看Master监控到zk中region状态变化的相应情况：

 void handleRegion(final RegionTransition rt, OpenRegionCoordination coordination,
                 OpenRegionCoordination.OpenRegionDetails ord) {
     //当zk的状态变成RS_ZK_REGION_OPENING，设置regionStates的状态为OPENING
     case RS_ZK_REGION_OPENING:
          regionStates.updateRegionState(rt, State.OPENING);

      //正如注释所言，剔除中间状态，删除zk RIT结点,RegionStates设置为OPEN
      case RS_ZK_REGION_OPENED:
      // Handle OPENED by removing from transition and deleted zk node
     regionStates.transitionOpenFromPendingOpenOrOpeningOnServer(...);

 }

小结

通过上面的分析，Region Assgin过程中主要的状态和步骤，大概可以用下图来概括。

未来

从上面的分析可知，当前region assgin的流程还是非常复杂的，所有很容易就造成Meta表和master，zk中的状态不一致，从而使Region处于RIT状态。社区正在做这方面的优化，主要思想就是去掉zk依赖，从而只依赖master和regionserver。具体详情可参看： https://blogs.apache.org/hbase/entry/hbase_zk_less_region_assignment 。 预计在hbase 2.0中将包含该功能。