HBase 高级架构解析
整体框架
使用 ZooKeeper 框架协助 RegionServer(类似于HDFS的nodemanager)用户请求从 Client 到 Zookeeper 进行判断数据属于哪一个 Region 辅助 HBase 进行数据存储/检索
主节点 Master (类似HDFS的ResourceManager) 管理 RegionServer ,数据不经过 Master
物理模型
- Table中多有行按照RowKey字典顺序排列
- Table在行的方向上分割为多个Region
- 随着Region大小的增大,达到一定阈值的时候,会分裂成两个新的Region
- Table在行的方向上分割为多个Region
数据写入流程:put
- Wal(Write Ahead Log) 预写日志(HLog)文件(HDFS/Hbase/目录下):这个是修改日志,不是整个文件?就像git一样?
- memStore
- storeFile
完整架构图HBase Architecture
数据存储
客户端 -> Zookeeper -> 得到 hbase:meta 表的 RegionServer -> 客户端从 meta 表中查得用户所需表的 RegionServer -> put/get/scan ...
1.nameSpace:类似于 RDBMS 中 Database 概念,用户创建的表在 default namespace 下 ,系统自带表在 hbase namespace 下
hbase:meta 表存储了 HBase 中所有(自己除外)表的元数据信息
hbase:namespace 表存储了 namespace 信息
# 显示所有 namespace
> list_namespace
# 显示 namespace 下的表
> list_namespace_tables 'hbase'
# 使用 hbase namespace 下的表 hbase:meta
> scan 'hbase:meta'
2.表数据存储位置:hdfs://HBase/data/
HFile:HBase中KeyValue数据的存储格式,是 Hadoop 的二进制文件格式,是 StoreFile 的轻量级包装
HLog File:(Write Ahead Log) 预写日志(HLog)文件,在物理上是 Hadoop 的 Sequence File
3.预写日志文件目录:hdfs://HBase/wals/
4.Zookeeper 作用:用户申请数据首先经过 Zookeeper,Zokkeeper 中存储了 mate 所在的 Region 被哪一个 RegionServer 管理的信息。Hmaster 管理 RegionServer 的信息存储在 Zookeeper 中
# 查看mate-server(bin/zkCli.sh)
$ get /hbase/meta-region-server
# 查看 RegionServer 信息(分文件夹存储)
$ ls /hbase/rs
人工干预数据的读写
# 从 memStore 到 Hfile
$ flush 'tablename'
# 合并小文件
$ compact 'tablename'
各个组件的功能和作用(参考JAVA API 导包)
Client
- 整个集群的访问入口
- 使用 HBase RPC(Remote Procedure Call Protocol)——远程过程调用协议 与 HMAster 和 HRegionServer 进行通信
- 与 HMAster 进行通信,进行管理类操作(创建表,删除表...)
- 与 HRegionServer 进行数据读写类操作(put get ...)
- 包含访问 HBase 的接口,并维护 cache(缓存) 来加快对 HBase 的访问
Zookeeper
- 通过 Zookeeper 协作,允许开启/存在多个 HMaster 但 Zookeeper 通过 Master Election 保证了任何时候,集群中只有一个 HMaster
- 保存了所有的 HRegion 的寻址入口(Client 访问 Zookeeper 找到 Region 的信息)
- 实时监控 HRegionServer 的上线和下线信息,并通知给 HMaster
- 存储了 HBase 的所有表信息的元数据信息 namespace 的信息
- 存储了 meta 表和 HMaster 的地址
HMaster
- HMaster 不存在单点问题,HBase 中可以启动多个 HMaster (详情请看bin/master-backup.sh)通过 Zookeeper 通过 Master Election 保证了任何时候,集群中只有一个 HMaster 在运行,负责 Table 和 Region 的管理工作
- 管理用户对 Table 的增删改查操作
- 管理 HRegionServer 的负载平衡,调整 Region 分布
- Region Split 后,负责新 Region 的分布
- 在 HRegionServer 停机后,负责失效 HRegionServer 的 Region 转移工作
HRegionServer
- 维护 HRegion 处理 HRegion 的 IO 请求,向 HDFS 文件系统中读写数据
- 负责 Region Split ,之后再交给 HMaster 调整 Region 分布
- 负责数据的访问过程,数据不经过 HMater ,HMaster 仅仅维护 Table 和 Region 的元数据信息,负载很低<<寻址访问 Zookeeper 和 HRegionServer ,数据访问 HRegionServer >>(重点)
HBase 高级架构解析的更多相关文章
- 深入HBase架构解析(二)【转】
转自:http://www.blogjava.net/DLevin/archive/2015/08/22/426950.html 前言 这是<深入HBase架构解析(一)>的续,不多废话, ...
- [转]毕设- 深入HBase架构解析(二)
深入HBase架构解析(二) 前言 这是<深入HBase架构解析(一)>的续,不多废话,继续.... HBase读的实现 通过前文的描述,我们知道在HBase写时,相同Cell(RowKe ...
- [转]毕设- 深入HBase架构解析(一)
深入HBase架构解析(一) 前记 公司内部使用的是MapR版本的Hadoop生态系统,因而从MapR的官网看到了这篇文文章:An In-Depth Look at the HBase Archi ...
- 从程序员到CTO的Java技术路线图 JAVA职业规划 JAVA职业发展路线图 系统后台框架图、前端工程师技能图 B2C电子商务基础系统架构解析
http://zz563143188.iteye.com/blog/1877266在技术方面无论我们怎么学习,总感觉需要提升自已不知道自己处于什么水平了.但如果有清晰的指示图供参考还是非常不错的,这样 ...
- HBase 系统架构及数据结构
一.基本概念 2.1 Row Key (行键) 2.2 Column Family(列族) 2.3 Column Qualifier (列限定符) 2.4 Column ...
- HBase 学习之路(二)—— HBase系统架构及数据结构
一.基本概念 一个典型的Hbase Table 表如下: 1.1 Row Key (行键) Row Key是用来检索记录的主键.想要访问HBase Table中的数据,只有以下三种方式: 通过指定的R ...
- HBase 系列(二)—— HBase 系统架构及数据结构
一.基本概念 一个典型的 Hbase Table 表如下: 1.1 Row Key (行键) Row Key 是用来检索记录的主键.想要访问 HBase Table 中的数据,只有以下三种方式: 通过 ...
- Netty原理架构解析
Netty原理架构解析 转载自:http://www.sohu.com/a/272879207_463994本文转载关于Netty的原理架构解析,方便之后巩固复习 Netty是一个异步事件驱动的网络应 ...
- 从HBase底层原理解析HBASE列族不能设计太多的原因?
在之前的文章<深入探讨HBASE>中,笔者详细介绍了: HBase基础知识(包括简介.表结构).系统架构.数据存储 WAL log和HBase中LSM树的应用 HBase寻址机制 mino ...
随机推荐
- 配置xtrabackup备份mysql数据库
下载地址:https://www.percona.com/downloads/XtraBackup/LATEST/ 为了方便起见本次安装使用yum源安装方式 1 安装yum源:yum insta ...
- matlab中换行
若在命令窗口中,如果一条语句已经写完,需要换行,可以用"Shift+Enter", 如果一条语句没写完就想换行,可以使用"...+Enter".
- linux shell中 if else以及大于、小于、等于逻辑表达式介绍
在linux shell编程中,大多数情况下,可以使用测试命令来对条件进行测试,这里简单的介绍下, 比如比较字符串.判断文件是否存在及是否可读等,通常用"[]"来表示条件测试. 注 ...
- fast、faster中ap值的计算
def voc_ap(rec, prec, use_07_metric=False): """ ap = voc_ap(rec, prec, [use_07_metric ...
- 【JeeSite】角色和权限的修改
@RequiresPermissions("sys:role:edit") @RequestMapping(value = "save") public Str ...
- 原生js 异步请求,responseXML解析
异步更新原理:用XMLHTTP发送请求得到服务器端应答数据,在不重新载入整个页面的情况下,用js操作Dom最终更新页面1.创建XMLHttp请求协议 function createXMLHttpReq ...
- 【洛谷P2947】向右看齐
向右看齐 题目链接 此题可用单调栈O(n)求解 维护一个单调递减栈,元素从左到右入栈 若新加元素大于栈中元素,则栈中元素的仰望对象即为新加元素 每次将小于新加元素的栈中元素弹出,记录下答案 #incl ...
- 两台电脑在不同情况下ping的情况
两台计算机(交叉连接) 同一网段 ,可以ping通.不同网段,不可以 两台计算机通过一台交换机连接 同一网段 ,可以ping通.不同网段,不可以.同一网段,同一Vlan,不可以. 综上:跨网段通信,必 ...
- Alert Log删除
标题:Renaming or Deleting the Alert Log While an Oracle Instance is Up & Running (文档 ID 74966.1) Q ...
- 工具类(过滤接口空值, value 或 空字符串) - iOS
为了便于日常开发效率,因此创建了一些小的工具类便于使用.具体 code 如下:声明: #import <Foundation/Foundation.h> #import <UIKit ...