hbase中相关命令行操作在服务端都是由相应的Procedure来执行完成的,并不是一个单独的操作,而是由其状态机中的一系列状态按照流程来完成的。特别的,我这次本着有图有真相的原则来为大家分析这一流程。
  这次,我们主要分析hbase在HMaster的初始化方法finishActiveMasterInitialization中,初始化Meta信息的InitMetaProcedure流程。以最新github分支上的hbase代码而言,对应下图中的:
  如图所示,在构造了InitMetaProcedure对象之后,ProcedureExecutor将其提交,而后,在ProcedureExecutor.pushProcedure方法中调用scheduler.addBack方法(此时的scheduler为MasterProcedureScheduler)。由于InitMetaProcedure间接实现了TableProcedureInterface接口,如下图所示:
  因此,会将该procedure加入任务队列tableRunQueue中。
  像其他许多框架(例如netty)的原理一样,这里必然是有一些线程在不断地轮询,直接或间接的从任务队列中获取任务。在我们当前分析的流程中,ProcedureExecutor.WorkerThread充当了这个角色。
  从后续源码中,我们很容易知道,接着依次调用ProcedureExecutor.executeProcedure,procedure.doExecute。特别的,在procedure.doExecute方法中,首先通过其抽象父类Procedure.doExecute,然后调用其抽象父类StateMachineProcedure.execute,最后调用InitMetaProcedure.executeFromState。由于InitMetaProcedure.getInitialState中获得的InitMetaProcedure的初始状态为InitMetaState.INIT_META_ASSIGN_META,因此会调用下面的addChildProcedure方法。
  特别的,方法内首先调用AssignmentManager.createAssignProcedures,AssignmentManager.createAssignProcedure,TransitRegionStateProcedure.assign等方法,构建了一个TRSP Procedure。并且初始化TRSP为初始状态为RegionStateTransitionState.REGION_STATE_TRANSITION_GET_ASSIGN_CANDIDATE,
最终状态为RegionStateTransitionState.REGION_STATE_TRANSITION_CONFIRM_OPENED的 Procedure。
  然后通过调用addChildProcedure方法将刚刚构建的TRSP添加到其subProcList中。接着,回到了StateMachineProcedure.execute方法中,将刚刚构建好的subProcList以数组形式返回,一直到ProcedureExecutor.execProcedure。接着调用ProcedureExecutor.initializeChildren设置subprocs的ParentProcId、RootProcId与ProcId实现对subprocs与父procedure的关联。然后,由于subprocs不为空,调用submitChildrenProcedures,将刚刚创建的TRSP继续加入到scheduler的任务队列中。
  而后,在WorkerThread.run方法中继续轮询调用。接下来的流程与上面所述的大致相同,只是这次在执行Procedure.doExecute中调用到了TransitRegionStateProcedure.execute。而后才继续调用StateMachineProcedure.execute。接着就调用到了TransitRegionStateProcedure.executeFromState。根据下图所示,结合刚刚TRSP初始化时的状态,我们很容易便知道,TRSP将依次经过REGION_STATE_TRANSITION_GET_ASSIGN_CANDIDATE-->REGION_STATE_TRANSITION_OPEN-->REGION_STATE_TRANSITION_CONFIRM_OPENED,从而完成调用。
  首先是调用queueAssign,然后调用AssignmentManager.queueAssign,将TRSP加入到MasterProcedureScheduler的tableRunQueue之中,并将TRSP当前状态置为REGION_STATE_TRANSITION_OPEN。而后,在ProcedureExecutor.WorkerThread的轮询中继续调用scheduler.poll,这里获得状态为REGION_STATE_TRANSITION_OPEN的TRSP,也就是刚刚转换过来的TRSP(至于具体的流程,我们在下一节中具体分析)。接下来,我们继续经过相同的流程,来到TransitRegionStateProcedure.executeFromState,由于当前状态为REGION_STATE_TRANSITION_OPEN,故而调用openRegion方法。
  在openRegion方法内调用了AssignmentManager.regionOpening,更新了regionNode为OPENING,而后调用了addChildProcedure(new OpenRegionProcedure(getRegion(), loc)),并且将当前状态设置为REGION_STATE_TRANSITION_CONFIRM_OPENED。
  由于上面addChildProcedure方法的调用,因此在该TRSP的subProcList中多了一个OpenRegionProcedure类型的Procedure。紧接着返回到Procedure.execProcedure。
  由于其subprocs不为空,因此调用submitChildrenProcedures将OpenRegionProcedure加入到scheduler的调用队列中。OpenRegionProcedure的父类为RegionRemoteProcedureBase,因此,在接下来在Procedure.doExecute的调用中,会转到RegionRemoteProcedureBase.execute。
  特别的,在execute的执行流程中,涉及到客户端与服务端的调用,我们将详细讲述。
  如图所示,通过env.getRemoteDispatcher获取到RSProcedureDispatcher,调用其addOperationToNode方法。在addOperationToNode方法内调用node.add方法。
  特别注意上图的node类型为RemoteProcedureDispatcher.BufferNode,其add方法如下图所示:
  这里调用了timeoutExecutor.add方法,其中timeoutExecutor类型为TimeoutExecutorThread。这里我们只附一张图,详细流程将在下节叙述。
  略过这里,回到RegionRemoteProcedureBase.execute,该方法最后调用了event.suspendIfNotReady,将该procedure加入了ProcedureEvent.suspendedProcedures,最后间接的加入到轮询队列中。至此,CreateTableProcedure与TRSP依次调用下图中标亮的方法,从而完成InitMetaProcedure流程的完整调用。
  如果大家感觉不错,希望点一下下面的推荐。你的肯定是小编最大的动力。如果有疑问,也可以发送邮件至15935152719@163.com,期待你的来信。

hbase之InitMetaProcedure流程的更多相关文章

  1. HBase 数据读写流程

    HBase 数据读写流程 2016-10-18 杜亦舒 读数据 HBase的表是按行拆分为一个个 region 块儿,这些块儿被放置在各个 regionserver 中 假设现在想在用户表中获取 ro ...

  2. HBase数据存取流程

    一.HBase的特点是什么 1.HBase一个分布式的基于列式存储或者行式存储的数据库,基于hadoop的hdfs存储,zookeeper进行管理. 2.HBase适合存储半结构化或非结构化数据,对于 ...

  3. HBase - 数据写入流程解析

    本文由  网易云发布. 作者:范欣欣 本篇文章仅限内部分享,如需转载,请联系网易获取授权. 众所周知,HBase默认适用于写多读少的应用,正是依赖于它相当出色的写入性能:一个100台RS的集群可以轻松 ...

  4. Hbase的读写流程

    HBase读写流程 1.HBase读数据流程 HRegionServer保存着meta表以及表数据,要访问表数据,首先Client先去访问zookeeper,从zookeeper里面获取meta表所在 ...

  5. Hbase负载均衡流程以及源码

    hmater负责把region均匀到各个region server .hmaster中有一个线程任务是专门处理负责均衡的,默认每隔5分钟执行一次. 每次负载均衡操作可以分为两步: 生成负载均衡计划表 ...

  6. HBase数据读写流程(1.3.1)

    ===数据写入流程=== 源码:https://github.com/apache/hbase/blob/master/hbase-server/src/main/java/org/apache/ha ...

  7. HBase Region Assign流程详解

    Hbase是kv存储,但是逻辑上我们可以把存储在hbase上的kv数据当成表,rowkey可以认为是表的主键.为了便于分布式操作,hbase会把表横向切分成一块一块的数据,而每块就是一个Region. ...

  8. HBase RegionServer Splitting 流程

    RegionServer Splitting 实现 HBase 中的写请求由 Region Server 处理,这些数据首先存储在 memstore (RegionServer 里的一个存储系统)里. ...

  9. Hbase数据读写流程

    From: https://blog.csdn.net/wuxintdrh/article/details/69056188 写操作: Client写入,存入Memstore,Memstore满则Fl ...

随机推荐

  1. SHELL脚本学习-练习写一个脚本3

    #通过ping命令测试192.168.1段的所有主机是否在线,如果在线就显示is up并显示蓝色,如果不在线就显示is down. #!/bin/bash #Program Description: ...

  2. Madlibs

    name1 = input('请输入一个名字:') name2 = input('再输入一个名字:') animal = input('请输入一种动物:') print('一二三四五{}上山打{}不在 ...

  3. jquery 3.4.0

    jQuery 3.4.0 的更新内容主要是错误修复和功能改进,列举部分如下: 针对 .width 和 .height 的性能改进 支持 nonce 和 nomodule 针对 Radio 元素新增事件 ...

  4. jq封装

    <div id='container' class='container'>盒子</div> <button onClick="f()" >te ...

  5. 京东Alpha平台开发笔记系列(一)

    2018京东Alpha开发者大赛是由京东智能面向广大开发者举办的大型语音技能开发比赛,参赛者将通过Skill开放平台开发技能,在实现开发者自身价值的同时,为京东智能活跃用户提供更优质.更便捷.更智能的 ...

  6. 关于Socket.IO的知识点记录

    最近因为项目的需要,开始学习nodejs,本着js的那点儿功底,nodejs学习起来还是挺快能上手的.随着深入学习,知道了express框架并那它写了一个小功能,作为一个php程序员哈,在expres ...

  7. Lombok轮子

    前提 自从进公司实习后,项目代码中能用 Lombok 的都用了,毕竟这么好的轮子要充分利用好.也可以减少一些 get/set/toString 方法的编写,虽说 IDEA 的插件可以自动生成 get/ ...

  8. pyqt5 graphics view简单使用

    Graphics View提供了一个平面,用于管理和交互大量自定义的2D图形图元,以及一个用于可视化图元的视图窗口小部件,支持缩放和旋转. 该框架包括一个事件传播架构,允许场景中图元的精确双精度交互功 ...

  9. 又见C++

    一年了,重新学奥赛,感慨蛮多. 首先就是觉得去年白学了,MinGW操作基本上忘完了,cry: 然后发现做题速度还比不上刚学的,一道题能错三遍,依旧cry; 不过总算弄明白double和int,还找到了 ...

  10. [转] KVM虚拟化技术生态环境介绍

    KVM虚拟化技术生态环境介绍 http://xanpeng.github.io/wiki/virt/kvm-virtulization-echosystem-intro.html kvm和qemu/q ...