region分裂有2种触发情景:1是用户手动触发(参见HRegionServer的splitRegion方法),2是后台flush线程flush完一个region的memstore时,会去检查这个region是否需要分裂(参见MemStoreFlushe的flushRegion方法)。这两种情景在代码实现上并无多大差异。

, firstKey.length) < 0) {

  • , lastKey.length) > 0) {
  • return null;
  • }
  • }
  • /*生成类型为reference的storefile文件,比如encode name为a,column family为cf(该cf下有名为hfile的storefile)的region分裂后会形成名为b和c的引用文件,此时在hdfs中该region下的目录结构为
  • /hbase/tableName/a/cf/hfile
  • /hbase/tableName/b/.splits/cf/hfile.a
  • /hbase/tableName/c/.splits/cf/hfile.a
  • 这两个引用文件的storefile的内容由原storefile的中间rowkey和range组成,reference文件的个数与原split region的storefile文件个数相同
  • */
  • Reference r = new Reference(splitRow, range);
  • String parentRegionName = f.getPath().getParent().getParent().getName();
  • Path p = new Path(splitDir, f.getPath().getName() + "." + parentRegionName);
  • return r.write(fs, p);
  • }
  • 再来看一下openDaughters

    1. void openDaughters(final Server server,
    2. final RegionServerServices services, HRegion a, HRegion b)
    3. throws IOException {
    4. //并行打开两个daughters
    5. DaughterOpener aOpener = new DaughterOpener(server, a);
    6. DaughterOpener bOpener = new DaughterOpener(server, b);
    7. aOpener.start();
    8. bOpener.start();
    9. if (services != null) {
    10. try {
    11. services.postOpenDeployTasks(b, server.getCatalogTracker(), true); // compact有references的storefile,compact操作最终清理掉这些reference文件,并把实际文件的内容写到region中去。将regioninfo信息和location的位置信息put到.META.表中
    12. services.addToOnlineRegions(b);  //添加region对象到regionserver的online列表中,终于可以对外提供服务了
    13. services.postOpenDeployTasks(a, server.getCatalogTracker(), true);
    14. services.addToOnlineRegions(a);
    15. } catch (KeeperException ke) {
    16. throw new IOException(ke);
    17. }
    18. }
    19. }

    最后梳理下整个流程:

    检查该region是否需要分裂,如果满足分裂条件,则通过region.checkSplit()拿到midkey,并把该分裂请求SplitRequest提交给后台的CompactSplitThread线程池去执行,SplitRequest内部会创建SplitTransaction来实现分裂,其过程如下:

    * 根据该region和midkey创建两个新的region对象HRegionInfo,代表分裂后的两个dautghter region

    * 在zk上创建一个临时节点(名称为“/hbase/region-in-transition/region-name”的znode),以防regionserver在分裂过程中down掉,保存split状态为RS_ZK_REGION_SPLITTING,表示开始region分裂。同时因为master一直watch znode(/hbase/region-in-transition),所以master会知道这个region的变化,以防master对其进行move等操作

    * 在该region所在的hdfs路径下创建.splits文件夹

    * 关闭该region,关闭前会等待region的flush和compact都完成(通过writestate同步实现),还会判断如果memstore的size小于5m(默认)时,会preFlush,然后关闭该region,region停止读写,并从regionserver的online服务中移除

    * 通过创建与该region下storefile个数相同的线程池子进行storefile的并行分裂,见StoreFileSplitter的splitStoreFile方法,其核心走StoreFile.split方法,其生成类型为reference的storefile文件,比如encode name为a,column family为cf(该cf下有名为hfile的storefile)的region分裂后会形成名为b和c的引用文件,此时在hdfs中该region下的目录结构为

    /hbase/tableName/a/cf/hfile 
    /hbase/tableName/b/.splits/cf/hfile.a 
    /hbase/tableName/c/.splits/cf/hfile.a 
    这两个引用文件的storefile的内容由原storefile的中间rowkey和range组成,reference文件的个数与原split region的storefile文件个数相同

    * 在.META.表中下线split的region,修改.META.表的该region信息,把offline split设置为true,添加列:splitA和splitB

    *  并行打开两个daughters region,CompactSplitThread后台线程会compact有references的storefile,compact操作最终清理掉这些reference文件,把实际文件的内容写到daughters region中去。并将daughter region的regioninfo信息和location的位置信息put到.META.表中

    * 添加region对象到regionserver的online列表中,终于可以对外提供服务了

    转载请注明出处:http://blog.csdn.net/odailidong/article/details/42217439

    参考文章:

    http://blog.csdn.net/c77_cn/article/details/38758545

    http://www.cnblogs.com/foxmailed/p/3970050.html

    hbase的Region分裂代码分析的更多相关文章

    1. HBase之五:hbase的region分区

      一.Region 概念 Region是表获取和分布的基本元素,由每个列族的一个Store组成.对象层级图如下: Table (HBase table) Region (Regions for the ...

    2. 【转帖】HBase之五:hbase的region分区

      HBase之五:hbase的region分区 https://www.cnblogs.com/duanxz/p/3154487.html 一.Region 概念 Region是表获取和分布的基本元素, ...

    3. hbase的region

      一.Region 概念 Region是表获取和分布的基本元素,由每个列族的一个Store组成.对象层级图如下: Table (HBase table) Region (Regions for the ...

    4. region split流程分析

      region split流程分析 splitregion的发起主要通过client端调用regionserver.splitRegion或memstore.flsuh时检查并发起. Client通过r ...

    5. HBase 与 Cassandra 架构对比分析的经验分享

      架构对比 HBase和Cassandra几乎是一个年份发起,又都是在2010年成为Apache的顶级项目,不过如果我们去细品其内部机制,我们会发现其实两者是完全不同的架构风格. HBASE起源于Goo ...

    6. STM32启动代码分析 IAR 比较好

      stm32启动代码分析 (2012-06-12 09:43:31) 转载▼     最近开始使用ST的stm32w108芯片(也是一款zigbee芯片).开始看他的启动代码看的晕晕呼呼呼的. 还好在c ...

    7. hbase删除region块的脚本

      删除hbase表region块脚本 文件hua.txt格式: CHAT_INFO,1318153079100530000314050,1318173760068.991ca04ff164c3f7987 ...

    8. Hive metastore整体代码分析及详解

      从上一篇对Hive metastore表结构的简要分析中,我再根据数据设计的实体对象,再进行整个代码结构的总结.那么我们先打开metadata的目录,其目录结构: 可以看到,整个hivemeta的目录 ...

    9. 微信公众号抢现金红包活动的核心代码分析(asp.net C#)

      今年春节微信抢红包,我想各位都还记得.最近很多商家也在使用公众号给粉丝发红包,做营销活动.吸粉活动或者是反馈老用户等. 我们作为第3方开发者,就义不容辞的来给这些商家服务了.首先我们得会使用程序来写抢 ...

    随机推荐

    1. kubernetes相关

      1.获取client , api-server 加token 或in-cluster方式 2.所有对象均有list update get 等方法 3.对象属性源码追踪,yaml与源码一一对应 4.一些 ...

    2. php多进程单例模式下的 MySQL及Redis连接错误修复

      前几天写了个php常驻脚本,主要逻辑如下 //跑完数据后休息60秒 $sleepTime = 60; $maxWorker = 10; while (true) { $htmlModel = new ...

    3. 259 [LeetCode] 3Sum Smaller 三数之和较小值

      题目: Given an array of n integers nums and a target, find the number of index triplets i, j, k with 0 ...

    4. node包管理相关

      切换npm数据源 镜像使用方法(三种办法任意一种都能解决问题,建议使用第三种,将配置写死,下次用的时候配置还在): 1.通过config命令 npm config set registry https ...

    5. 从零讲JAVA ,给你一条 清晰地学习道路!该学什么就学什么!!

      1.计算机基础: 1.1数据机构基础: 主要学习:1.向量,链表,栈,队列和堆,词典.熟悉2.树,二叉搜索树.熟悉3.图,有向图,无向图,基本概念4.二叉搜索A,B,C类熟练,9大排序熟悉.5.树的前 ...

    6. 关于JS里面写JAVA代码的问题

      最近做项目需要在JS脚本里面调用一个JAVA的函数得到数据,在网上查了很久,发现JS脚本里面不能写JAVA函数.只能把JS脚本里面的代码写进JSP文件里面的<script>标签内,然后写J ...

    7. C# 正则表达式 最全的验证类

      ///<summary> ///验证输入的数据是不是正整数 ///</summary> ///<param name="str">传入字符串&l ...

    8. SVM之对偶问题

      SVM之问题形式化 >>>SVM之对偶问题 SVM之核函数 SVM之解决线性不可分 写在SVM之前——凸优化与对偶问题 前一篇SVM之问题形式化中将最大间隔分类器形式化为以下优化问题 ...

    9. (转)centos6.5下Zabbix系列之Zabbix安装搭建及汉化

      最近在研究zabbix,在整理完成之后就有了写一下总结博客的想法,在我研究zabbix的时候给我很大帮助的是it你好,博客地址 http://itnihao.blog.51cto.com/他做的zab ...

    10. SQL SERVER技术内幕之7 透视与逆透视

      1.透视转换 透视数据(pivoting)是一种把数据从行的状态旋转为列的状态的处理,在这个过程中可能须要对值进行聚合. 每个透视转换将涉及三个逻辑处理阶段,每个阶段都有相关的元素:分组阶段处理相关的 ...