HBASE学习笔记-初步印象
HBASE概念:
HBASE是一个分布式架构的数据库,通过对数据进行多层的分块打散储存。从而改写传统数据库的储存能力和读取速度。
HBASE的集群服务器:
HBASE的集群主要分为Zookeeper集群,Master集群,RegionSever集群。
Zookeeper集群:储存Table的Region地址,管理Master和RegionSever服务器间的操作。
Master集群:进行建表,删表工作和分配Region(管理负载均衡,Split时,重新分配Region)
RegionSever集群:储存真正数据的地方
数据储存模型:
分块储存概念:
1.Hbase的Table会按行进行Region的数据块划分。
2.Region数据块会被分配给集群的各个(Regionsever)机器上面去。
3.每个Regin块会再进行Store块划分,每个Store块拥有一个MenStore和0至多个StoreFile
Region块的信息储存:
HBase中有两张记录Region信息所在位置的特殊的Table,-ROOT-和.META.
.META.:记录了各个用户表的Region信息,.META.本身可以有多个regoin,放在RegionSever中
-ROOT-:记录了.META.表的Region信息,-ROOT-本身只有一个region,放在RegionSever中
Zookeeper中记录了-ROOT-表的location
Store块中储存的信息:
RowKey:是Byte array,是表中每条记录的“主键”,方便快速查找,Rowkey的设计非常重要。
Column Family:列族,拥有一个名称(string),包含一个或者多个相关列
Column:属于某一个columnfamily,familyName:columnName,每条记录可动态添加
Version Number:类型为Long,默认值是系统时间戳,可由用户自定义
Value(Cell):Byte array
数据流程:
创建、修改表:
1.Client向Zookeeper发送创建表请求,Zookeeper记录日志后传递给HMaster。
2.HMaster返回可以写入RegionSever给Zookeeper
3.Zookeeper把创建的表和Regionsever的关系通过ROOT表和META表记录下来
4.以后进行表操作则不用经过HMaster,直接从Zookeeper中获取对应的RegionSever地址
操作表:
1.Client向Zookeeper发送操作数据请求
2.Zookeeper检查缓存中是否有目标表与RegionSever的关系
3.从Zookeeper中抽取ROOT表和META表读取目标表与RegionSever的关系
4.到对应的RegionSever中进行Hlog日志记录并找到对应的StoreFile进行数据操作
5.把最后的Hlog和StoreFile储存到HDFS中
参考资料:
http://www.cnblogs.com/JemBai/archive/2012/07/21/2602432.html
http://www.uml.org.cn/sjjm/201212141.asp#6
http://www.csdn.net/article/2014-02-17/2818431-HDFS+MapReduce+Hbase
http://blog.csdn.net/woshiwanxin102213/article/details/17584043
http://www.cnblogs.com/hark0623/p/5571193.html
http://tangay.iteye.com/blog/736871
HBASE学习笔记-初步印象的更多相关文章
- HBase学习笔记之HBase的安装和配置
HBase学习笔记之HBase的安装和配置 我是为了调研和验证hbase的bulkload功能,才安装hbase,学习hbase的.为了快速的验证bulkload功能,我安装了一个节点的hadoop集 ...
- HBASE学习笔记(四)
这两天把要前几天的知识点回顾一下,接下来我会用自己对知识点的理解来写一些东西 一.知识点回顾 1.hbase集群启动:$>start-hbase.sh ===>hbase-daemon.s ...
- HBase学习笔记之BulkLoad
HBase学习之BulkLoad bulkload的学习以后再写文章. 参考资料: 1.https://blog.csdn.net/shixiaoguo90/article/details/78038 ...
- HBase学习笔记之HBase原理和Shell使用
HBase学习指南之HBase原理和Shell使用 参考资料: 1.https://www.cnblogs.com/nexiyi/p/hbase_shell.html,hbase shell
- HBase学习笔记(四)—— 架构模型
在逻辑上,HBase 的数据模型同关系型数据库很类似,数据存储在一张表中,有行有列. 但从 HBase 的底层物理存储结构(K-V)来看,HBase 更像是一个 multi-dimensional m ...
- Hbase学习笔记01
最近做项目接触到了HDFS.mapreduce以及Hbase,有了实战机会,今天打算将这些知识好好总结下,以备不时之需.首先从Hbase开始吧. Hbase是建立在HDFS上的分布式数据库,下图是Hb ...
- HBase学习笔记-高级(一)
HBase1. hbase.id记录了集群的唯一标识:hbase.version记录了文件格式的版本号2. split和.corrupt目录在日志分裂过程中使用,以便保存一些中间结果和损坏的日志在表目 ...
- HBASE学习笔记--API
HBaseConfiguration HBaseConfiguration是每一个hbase client都会使用到的对象,它代表的是HBase配置信息.它有两种构造方式: public HBaseC ...
- Hbase—学习笔记(一)
此文的目的: 1.重点理解Hbase的整体工作机制 2.熟悉编程api,能够用来写程序 1. 什么是HBASE 1.1. 概念特性 HBASE是一个数据库----可以提供数据的实时随机读写 HB ...
随机推荐
- javascript和jquey的自定义事件小结
“通过事件机制,可以将类设计为独立的模块,通过事件对外通信,提高了程序的开发效率.” 可以把多个关联但逻辑复杂的操作利用自定义事件的机制灵活地控制好 对象之间通过直接方法调用来交互 1)对象A直接调用 ...
- java selenium (十) 操作浏览器
本篇文章介绍selenium 操作浏览器 阅读目录 浏览器最大化 前进,后退, 刷新 public static void testBrowser(WebDriver driver) throws E ...
- WINDOWS下如何安装GCC(转载http://nirvana.cublog.cn;作者:北斗星君(黄庠魁))
第一章 在视窗操作系统下的GCC 第一节 GCC家族概览 GCC 是一个原本用于 Unix-like 系统下编程的编译器.不过,现在 GCC 也有了许多 Win32 下的移植版本.所以,也许对于许多 ...
- CentOS下升级python2.7.10过程记录
1.准备好一份Python2.7.10源码包,下载地址: http://www.python.org/ftp/python/2.7.10/Python-2.7.10.tgz 2.安装Python2.7 ...
- EF6 CodeFirst+Repository+Ninject+MVC4+EasyUI实践(完)
前言 这一篇是本系列的最后一篇,虽然示例讲到这里就停止呢,但对于这些技术的学习远不能停止.虽然本示例讲的比较基础,但是正如我第一篇说到的,这个系列的目的不是说一些高端的架构设计,而是作为一个入门级,对 ...
- [小菜随笔]python tkinter实现简单的ping命令
本文主要是介绍python图形界面上的按键与实际功能的对接,其实编程掌握了基础之后的学习应该都是靠自己去挖掘其他的 在网上发现多半教程都是2的,故本文使用的是python3.5,其实也没什么区别,就有 ...
- 关于启动ubuntu中的nfs启动问题
嵌入式开发,如果使用nfs挂载来启动内核和文件系统,这样便于调试文件系统和驱动,则首先要保证ubuntu开启nfs服务, 执行以下命令安装nfs服务,安装后自动运行 sudo apt-get inst ...
- Xcode 7如何 免费 真机调试iOS应用
运行Xcode后,点击菜单中的Preferences…进入Accounts标签,这里选择添加Apple ID: 在弹出的对话框中登入你的Apple ID,没有的话去注册一个就是了,登录成功后会看到下面 ...
- firefox,跨域ajax 调用方法
在A站点ajax 调用B站的页面(方法)时, 使用post,且dataType类型为jsonp 有时在IE会有No Transport的错误提示,请加 jQuery.support.cors = tr ...
- i2c之at24c08驱动及应用程序
1-->修改板级文件arch/arm/mach-s3c2440/mach-mini2440.c 步骤: ->添加引用 #include <linux/i2c.h> ->添 ...