我们从HRegion.flushcache开始分析。由于这个过程还是比较复杂的,因此,在这一节,我们不会分析的太过详细,只是单单的介绍一下其大体流程,待大家有了整体的把握之后,我们将在下一节详细介绍其持久化的具体流程。
  为了尽可能严谨的描述整个流程,小编在讲解过程中会贴比较多的图来描述。
  好了,闲话不说,下面我们进入正题:
  首先,让我们来到今天的入口方法HRegion.flushcache:下图的代码不少,但是,并没有我们今天要介绍的重点。此图只是用来表示我们今天要讲的方法。
  其实,重点的入口方法是下图的框选方法internalFlushcache。由该方法名,我们就可以猜到该方法应该就是我们要找的方法。
  接着,让我们追踪到该方法内部,看到其调用了下图所示的两个方法。如下图所框选的两个方法。他们都是我们今天要介绍的重量级方法。
  第一个方法主要实现的是内存快照的创建。(为简化描述,以后用方法一描述该方法)
  第二个方法主要实现了将内存中的数据flush到磁盘上。(同理,用方法二描述该方法)
  下面,我们来到第一个方法,也就是HRegion.internalPrepareFlushCache。这个方法的内容很多,但是与我们今天流程相关并不是很多,如下图所示的代码:
  这里,我们简单看一下WALUtil.writeFlushMarker,并不做深入讲解,因为后面的内容还很多,详情让我们放到下一节。
  接着,我们来到StoreFlusherImpl.prepare。下图所框选的方法比较重要,因为这是方法一的核心。它为当前的memstore创建了快照,并且调用了resetActive方法,重置了memstore中的active成员变量。大家可能不太清楚我为什么要强调这里的active成员变量。那么我们跳过这张图。
  来到DefaultMemStore.snapshot,看一下我特地为大家标注的。首先,根据当前的active创建ImmutableSegment,然后将刚刚创建的ImmutableSegment赋给成员变量snapshot,最后,调用resetActive重置了当前的active为MutableSegment。这里不是很难,就不详细介绍了,大家有兴趣可以追查一下源码。
  接下来,让我们来到今天的另一个重量级方法HRegion.internalFlushCacheAndCommit,由于该方法比较长,内容比较多,这里我们仅介绍第一张图,也就是下图。如下图所示,我们框选了两个比较重要的变量prepareResult.storeFlushCtxs、prepareResult.committedFiles。大家可能会对他们有点陌生。没有关系,让我们在下面插一张图稍稍回顾一下
  看了下图,你可能就恍然大悟了,这正是方法一为方法二调用做的必要准备。到这里,大家应该能够理解我这里为什么要将他们二者称之为两个重量级方法了。
  接着,让我们继续往下走,来到HStore.StoreFlusherImpl.flushCache方法。
  继续来到上图所示方法的具体调用,这里就实现了对快照的flush。
  接着,我们来到今天所介绍的方法中最为复杂的方法。在下图,我框选的内容比较多,大家不要担心,我仅介绍其中与我们这一节紧密相关的后三个方法。
  首先,我们来到HStore.createWriterInTmp方法。在这个方法中,获取了familyTempDir路径。该路径是regionDir/.tmp/family.getNameAsString()。然后构建了StoreFileWriter。
  对于StoreFileWriter的构造方法是比较重要的,特别是其writer的构建,我在下图特别作了标示。
  由于上图所示的方法比较重要,在这里,我再附一张图来说明上图所示的writer类型,这关乎后面两个方法的具体调用。
  接着,我们来到StoreFlusher.performFlush。你可能会对我在下图标注的sink比较懵逼。但是仔细想一想,你可能就猜到了,这里的sink正是上面我们重点描述的HFileWriterImpl。也就是说下面调用的sink.append正是HFileWriterImpl.append。
  下图所示正是HFileWriterImpl.append。这里我们就不详细叙述了,留待下一节具体分析。
  接下来,就是真正的持久化方法:finalizeWriter。显然,在这里调用了writer.close。这里的writer类型是StoreFileWriter。
  继续往下走,来到StoreFileWriter.close。而这里的writer正是我们刚刚再三强调的HFileWriterImpl。
  在HFileWriterImpl.close方法中,将相关信息写入到输出流。
  在最后的finishClose方法中,也正如后面的图所示,最后调用了outputStream.close,完成了输出流的关闭。也就是说HStore中存储的CF信息flush到磁盘上。
  这一节描述的信息量还是很大的,还是希望大家耐心阅读。在后面的博文中,小编将做更为详细的描述。
  如果大家感觉不错,希望点一下下面的推荐。你的肯定是小编最大的动力。如果有疑问,也可以发送邮件至15935152719@163.com。

HBase数据持久化之HRegion.flushcache即CF持久化的更多相关文章

  1. HBase之CF持久化系列(续2)

    正如上篇博文所说,在本节我将为大家带来StoreFlusher.finalizeWriter..如果大家没有看过我的上篇博文<HBase之CF持久化系列(续1)>,那我希望大家还是回去看一 ...

  2. HBase之CF持久化系列(续1)

    这一节本来打算讲解HRegion的初始化过程中一些比较复杂的流程.不过,考虑前面的博文做的铺垫并不够,因此,在这一节,我还是特意来介绍HBase的CF持久化.关于这个话题的整体流程性分析在博文< ...

  3. HBase之CF持久化系列(续3——完结篇)

    相信大家在看了该系列的前两篇文章就已经对其中的持久化有比较深入的了解.相对而言,本节内容只是对前两节的一个巩固.与持久化相对应的是打开文件并将其内容读入到内存变量中.而在本节,我就来介绍这一点. 本节 ...

  4. 怎样将关系型数据表转换至hbase数据表

    首先须要把关系型数据库的数据表的数据添加由 "纵向延伸",转变为HBase数据表的"横向延伸" 一.Hbase的存储结构 a)      HBase以表(HTa ...

  5. HBase源代码分析之HRegion上MemStore的flsuh流程(二)

    继上篇<HBase源代码分析之HRegion上MemStore的flsuh流程(一)>之后.我们继续分析下HRegion上MemStore flush的核心方法internalFlushc ...

  6. HBase数据存储格式

    好的数据结构,对于检索数据,插入数据的效率就会很高. 常见的数据结构 B+树 根节点和枝节点非常easy,分别记录每一个叶子节点的最小值,并用一个指针指向叶子节点.  叶子节点里每一个键值都指向真正的 ...

  7. HBase数据备份及恢复(导入导出)的常用方法

    一.说明 随着HBase在重要的商业系统中应用的大量增加,许多企业需要通过对它们的HBase集群建立健壮的备份和故障恢复机制来保证它们的企业(数据)资产.备份Hbase时的难点是其待备份的数据集可能非 ...

  8. HBase数据快速导入之ImportTsv&Bulkload

    导入数据最快的方式,可以略过WAL直接生产底层HFile文件 (环境:centos6.5.Hadoop2.6.0.HBase0.98.9) 1.SHELL方式 1.1 ImportTsv直接导入 命令 ...

  9. HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操作+HBase架构体系

    HBase1.2.2伪分布式安装(HDFS)+ZooKeeper-3.4.8安装配置+HBase表和数据操作+HBase的架构体系+单例安装,记录了在Ubuntu下对HBase1.2.2的实践操作,H ...

随机推荐

  1. C/C++生成静态库动态库及语言交互

    C++静态库与动态库(比较透彻) Go中调用C的动态库与静态库 我的示例 文件结构 |- sample |- c |- libsample |- libsample.h |- libsample.cp ...

  2. Chapter6_访问权限控制_类的访问权限

    在Java中,访问权限修饰词也可以用于确定库中的哪些类对于该库的使用者是可用的,类既不可以是private也不可以是protected的,对于类的访问权限,只有两种选择:包访问权限或者public.下 ...

  3. (摘录)String是值传递还是引用传递

    String应该是一个封装类型,它应该是引用传递,是可以改变值的, 运行的结果应该是”cd”.我们实际运行一下看看, str=ab,这如何解释呢?难道String是基本类型?也说不通呀. 这就要从ja ...

  4. python编程之变量和简单的数据结构

    一.变量 前面我们用python输出了“hello world!” 这次我们在前面加入一行,定义一个变量,然后修改第二行. 添加变量导致Python解释器需要做更多工作.处理第1行代码时,它将文本“H ...

  5. ionic 侧栏菜单用法

    第一步: 引入js和css文件我这里是直接引入的cdn,ionic是基于angular的,bundle.min.js把常用angular的js已经压缩到一起,可以直接引入.bundle.min.js, ...

  6. 2019年华南理工校赛(春季赛)--I--炒股(简单思维水题)

    水题,想想就过了 题目如下: 链接:https://ac.nowcoder.com/acm/contest/625/I来源:牛客网 攒机一时爽,一直攒机一直爽. 沉迷攒机的胡老师很快就发现,他每天只能 ...

  7. Ubuntu 离线安装 docker

    1.下载离线包,网址:https://download.docker.com/linux/ubuntu/dists/xenial/pool/stable/amd64/ 离线安装docker需要下载3个 ...

  8. java(一) 基础部分

    1.11.简单讲一下java的跨平台原理 Java通过不同的系统.不同版本.不同位数的java虚拟机(jvm),来屏蔽不同的系统指令集差异而对外体统统一的接口(java API),对于我们普通的jav ...

  9. Solidity: ParserError: Expected pragma, import directive or contract/interface/library definition.

    第一行忘记加分号 pragma solidity ^0.4.0;

  10. js-图片轮播(极简)

    <!DOCTYPE html><html lang="en"> <head> <meta charset="UTF-8" ...