数据字典用来存储了系统的元数据。HBase的元数据包括:用户表的定义、表的切分方案、分片的分布情况(即分片分布在哪个regionserver上)、分片对应的数据文件和日志文件。其中,分片和数据文件的映射关系是通过目录映射实现的,即不同的分片的数据文件存储在不同的目录中,其中目录的名称是分片的名称。【对比:在Hypertable中分片与数据文件的映射关系记录在表中】

如图3-13所示。HBase使用表-ROOT-和表.META存储元数据【Oracle也用表存储元数据】。和普通的表一样,这两张表对应的分片分布在RegionServer上的。.META.存储了所有用户表的元数据库,可以被分裂,其元数据存储在表-ROOT-中。-ROOT-有且只有一个分片,不能被分裂。ZooKeeper的节点ZK/hbase/root-region-server存储了加载-ROOT-分片的RegionServer的地址信息,是整个系统的入口。

注:在本文描述的HBase0.90.0中,.META.还不支持分裂,不过最新版本已经支持分裂.META.了。

图3-13 定位分片的层次

1 表.META.

表.META.的定义脚本如下:

create '.META.', {NAME => 'info', VERSIONS => 10, COMPRESSION => 'none',IN_MEMORY => true, BLOCKCACHE => true, BLOCKSIZE =>8096,TTL
=> 2147483647, BLOOMFILTER => 'NONE', REPLICATION_SCOPE => 0 }

family

qualifer

描述

info

regioninfo

分片的属性信息,包括startkey,endkey,对应表的定义等

server

加载本分片的RS地址信息

serverstartcode

加载本分片的RS的启动时间,用于MasterServer区分RS是否重启

splitA

子分片A的regioninfo

splitB

子分片B的regioninfo

表3-1 .META.的定义

.META.的rowKey是分片的名称。regionname的格式如表3-2.

分片类型

分片名称的格式

-ROOT-

tablename+','+startkey+','+regionid

规定-ROOT-分片的regionid为0,所以名称为: "-ROOT-,,0"

.META.

tablename+','+startkey+','+regionid

0.90.3版本不支持.META.分裂,规定.META.分片的regionid为1所以名称为: ".META.,,1"

普通分片

tablename+','+startkey+','+regionid+'.'+md5+'.'其中md5是tablename+','+startkey+','+regionid的md5码

表3-2 分片名称的格式

分片名称中存在regionid的原因?

父分片分裂后,由于垃圾回收机制的需要,父分片的元数据不能立即在.META.得到删除,所以父分片和子分片的元数据会同时出现在.META.中。但是第一个子分片与父分片的tablename和startkey都一样, tablename+startkey无法唯一标识一个分片,所以在分片名称的尾部增加了一个regionid,从而使得分片名称可以唯一标记一个分片。regionid实际是分片的生成时间,子分片的regionid一定要比父分片的regionid要大。

regioninfo的定义参见下图。

图3-14 序列化的regioninfo

字段

描述

version

版本号。为0

endkey


offLine

用于分裂。true表示已经closed,但是还不能删除,因为其数据文件还在被子分片使用

regionId

分片创建当前时间

regionName

见表3-2

split

true:本分片已经被split。

startKey


tableDesc

见表3-4

hashCode

前面所有字段的hash值

表3-3 regioninfo的各个字段的定义

字段

描述

version

5

name

表名

isRoot

是否是表-ROOT- ,冗余信息?

isMeta

是否是表.META. ,冗余信息?

tableAttrNum

字段tableAttrList中表属性的个数

tableAttrList

见表3-5

familyListNum

列族的数量

familyList

见表3-6

表3-4 tableDesc的定义

名称

描述

默认值

FAMILIES

未使用?


IS_ROOT

是否是表"-ROOT-"


IS_META

是否是表".META."


READONLY

表的状态

false

DEFERRED_LOG_FLUSH

若为true。写数据时,无需确认WAL是否写入磁盘,即可返回。以数据的持久性交换写性能。

false

MAX_FILESIZE

分片所有数据文件的总大小达到这个阀值后,需要分裂分片。单位是字节。

256M

MEMSTORE_FLUSHSIZE

当分片的所有MemStore的总大小到达这个阀值后,需要把MemStore中的数据写入磁盘数据文件。单位是字节。

64M

表3-5 tableAttrList

名称

描述

默认值

NAME

列族名称

VERSIONS

最大版本数

3

TTL

time to live

Integer.MAX_VALUE,表示永久有效

IN_MEMORY

是否常驻内存

false

COMPRESSION

列族的压缩算法

包括 "lzo" "gz" "none"

"none"

COMPRESSION_COMPACT

major时的压缩算法

同COMPRESSION

BLOOMFILTER

"NONE" "ROW" "ROWCOL"

"NONE"

REPLICATION_SCOPE

多个数据中心备份数据的参数。【待研究】

0

BLOCKSIZE

StoreFile的 data block大小,

单位字节

64*1024

BLOCKCACHE

是否缓存其block

true

表3-6 familyAttrList

2 表-ROOT-

表-ROOT-存储了表的.META.的元数据,并且不可以分裂。创建-ROOT-表的脚本如下:

create '-ROOT-', {NAME => 'info', VERSIONS => 10, COMPRESSION => 'none', IN_MEMORY => true, BLOCKCACHE => true, BLOCKSIZE =>8096,TTL => 2147483647, BLOOMFILTER => 'NONE', REPLICATION_SCOPE
=> 0 }

3 系统入口

从某种程度上来说,zookeeper是一个小型文件系统,可以用来存储及少量的数据。ZK/hbase/root-region-server是zookeeper中的一个文件,用来存储了加载-ROOT-分片的RegionServer的地址信息(主机名+port),是HBase集群的总入口。

HBase数据字典的更多相关文章

  1. hbase基本结构

    HBASE  基本结构一.overview1. hbase <=> NOSQL     不错,hbase 就是某种类型的nosql 数据库,唯一的区别就是他支持海量的数据.    hbas ...

  2. HBase replication

    Hbase Replication 介绍 现状 Hbase 的replication目前在业界使用并不多见,原因有很多方面,比如说HDFS目前已经有多份备份在某种程度上帮助HBASE底层数据的安全性, ...

  3. HBase的replication原理及部署

    一.hbase replication原理 hbase 的复制方式是 master-push 方式,即主集群推的方式,主要是因为每个rs都有自己的WAL. 一个master集群可以复制给多个从集群,复 ...

  4. Mapreduce的文件和hbase共同输入

    Mapreduce的文件和hbase共同输入 package duogemap;   import java.io.IOException;   import org.apache.hadoop.co ...

  5. Redis/HBase/Tair比较

    KV系统对比表 对比维度 Redis Redis Cluster Medis Hbase Tair 访问模式    支持Value大小 理论上不超过1GB(建议不超过1MB) 理论上可配置(默认配置1 ...

  6. Hbase的伪分布式安装

    Hbase安装模式介绍 单机模式 1> Hbase不使用HDFS,仅使用本地文件系统 2> ZooKeeper与Hbase运行在同一个JVM中 分布式模式– 伪分布式模式1> 所有进 ...

  7. Spark踩坑记——数据库(Hbase+Mysql)

    [TOC] 前言 在使用Spark Streaming的过程中对于计算产生结果的进行持久化时,我们往往需要操作数据库,去统计或者改变一些值.最近一个实时消费者处理任务,在使用spark streami ...

  8. Spark读写Hbase的二种方式对比

    作者:Syn良子 出处:http://www.cnblogs.com/cssdongl 转载请注明出处 一.传统方式 这种方式就是常用的TableInputFormat和TableOutputForm ...

  9. 深入学习HBase架构原理

    HBase定义 HBase 是一个高可靠.高性能.面向列.可伸缩的分布式存储系统,利用Hbase技术可在廉价PC Server上搭建 大规模结构化存储集群. HBase 是Google Bigtabl ...

随机推荐

  1. Shell脚本生成网页版相册浏览器

    今天学到了一招,那就是使用脚本制作一款网页版相册浏览器.先上图吧. 必备基础 操作系统: 以linux为内核的操作系统都行 编程语言:Shell(bash)脚本,相关基础知识即可 下载工具:wget ...

  2. Swift的print不换行打印的方法

    大熊猫猪·侯佩原创或翻译作品.欢迎转载,转载请注明出处. 如果觉得写的不好请多提意见,如果觉得不错请多多支持点赞.谢谢! hopy ;) swift大多数情况下我们直接用默认的print函数打印就可以 ...

  3. socket系列之客户端socket——Socket类

    假设TCP套接字服务器端已经建立好并正在监听客户端的连接了,那么客户端就可以通过Socket类来发起连接.客户端发起一个连接请求后,就被动地在等待服务器的响应.这个类同样位于java.net包中,包含 ...

  4. 1090. Highest Price in Supply Chain (25) -计层的BFS改进

    题目如下: A supply chain is a network of retailers(零售商), distributors(经销商), and suppliers(供应商)-- everyon ...

  5. 【Android应用开发】EasyDialog 源码解析

    示例源码下载 : http://download.csdn.net/detail/han1202012/9115227 EasyDialog 简介 : -- 作用 : 用于在界面进行一些介绍, 说明; ...

  6. 02_MyBatis项目结构,所需jar包,ehcache.xml配置,log4j.properties,sqlMapConfig.xml配置,SqlMapGenerator.xml配置

     项目结构(所需jar包,配置文件) sqlMapConfig.xml的配置内容如下: <?xmlversion="1.0"encoding="UTF-8&qu ...

  7. Socket实现聊天客户端

    今天在极客学院上看到了一个关于Socket的视频讲解,感觉还不错,就写了份代码,拿来分享一下. Socket使用方法 关于Socket的使用,我们首先要弄清楚的是,在服务器端还是在客户端使用.因为这的 ...

  8. Dynamics CRM 修改数据导出到EXCEL的最大条数

    系统默认的最大导出数为一万,这个数可以通过执行以下SQL看到,那要增加导出的最大数量改变MaxRecordsForExportToExcel的值即可. <span style="fon ...

  9. Android开发学习之路--异步消息Handler,Message,Looper和AsyncTask之初体验

    在简易音乐播放器中,用了Handler,也没有过多地去研究学习,这里再学习下android下的异步消息处理机制.这里用了Handler主要是在线程中不能更新UI,而需要通过Handler才可以.关于异 ...

  10. iOS下WebRTC音视频通话(三)-音视频通话

    前两篇文章记录了音视频通话的一些概念和一些流程,以及一个局域网内音视频通话的示例. 今天以一个伪真实网络间的音视频通话示例,来分析WebRTC音视频通话的过程. 上一篇因为是在相同路由内,所以不需要穿 ...