1. 简介

  HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable:一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务。

2. HBase的表结构

  HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族/列簇(column family)。

Row Key

column-family1

column-family2

column-family3

column1

column2

column1

column2

column3

column1

key1

t1:abc

t2:gdxdf

 

t4:dfads

t3:hello

t2:world

     

key2

t3:abc

t1:gdxdf

 

t4:dfads

t3:hello

 

t2:dfdsfa

t3:dfdf

 

key3

 

t2:dfadfasd

t1:dfdasddsf

     

t2:dfxxdfasd

t1:taobao.com

  如上图所示,key1,key2,key3是三条记录的唯一的row key值,column-family1,column-family2,column-family3是三个列族,每个列族下又包括几列。比如column-family1这个列族下包括两列,名字是column1和column2,t1:abc,t2:gdxdf是由row key1和column-family1-column1唯一确定的一个单元cell。这个cell中有两个数据,abc和gdxdf。两个值的时间戳不一样,分别是t1,t2, hbase会返回最新时间的值给请求者。

  这些名词的具体含义如下:

  (1) Row Key

  与nosql数据库们一样,row key是用来检索记录的主键。访问hbase table中的行,只有三种方式:

    (1.1) 通过单个row key访问

    (1.2) 通过row key的range

    (1.3) 全表扫描

  Row key行键 (Row key)可以是任意字符串(最大长度是 64KB,实际应用中长度一般为 10-100bytes),在hbase内部,row key保存为字节数组。

  存储时,数据按照Row key的字典序(byte order)排序存储。设计key时,要充分排序存储这个特性,将经常一起读取的行存储放到一起。(位置相关性)

  注意:

  字典序对int排序的结果是1,10,100,11,12,13,14,15,16,17,18,19,2,20,21,…,9,91,92,93,94,95,96,97,98,99。要保持整形的自然序,行键必须用0作左填充。

  行的一次读写是原子操作 (不论一次读写多少列)。这个设计决策能够使用户很容易的理解程序在对同一个行进行并发更新操作时的行为。

  (2) 列族 column family

  hbase表中的每个列,都归属与某个列族。列族是表的chema的一部分(而列不是),必须在使用表之前定义。列名都以列族作为前缀。例如courses:history , courses:math 都属于 courses 这个列族。

  访问控制、磁盘和内存的使用统计都是在列族层面进行的。实际应用中,列族上的控制权限能帮助我们管理不同类型的应用:我们允许一些应用可以添加新的基本数据、一些应用可以读取基本数据并创建继承的列族、一些应用则只允许浏览数据(甚至可能因为隐私的原因不能浏览所有数据)。

  (3) 单元 Cell

  HBase中通过row和columns确定的为一个存贮单元称为cell。由{row key, column( =<family> + <label>), version} 唯一确定的单元。cell中的数据是没有类型的,全部是字节码形式存贮。

  (4) 时间戳 timestamp

  每个cell都保存着同一份数据的多个版本。版本通过时间戳来索引。时间戳的类型是 64位整型。时间戳可以由hbase(在数据写入时自动 )赋值,此时时间戳是精确到毫秒的当前系统时间。时间戳也可以由客户显式赋值。如果应用程序要避免数据版本冲突,就必须自己生成具有唯一性的时间戳。每个cell中,不同版本的数据按照时间倒序排序,即最新的数据排在最前面。

  为了避免数据存在过多版本造成的的管理 (包括存贮和索引)负担,hbase提供了两种数据版本回收方式。一是保存数据的最后n个版本,二是保存最近一段时间内的版本(比如最近七天)。用户可以针对每个列族进行设置。

3. HBase shell的基本用法

  hbase提供了一个shell的终端给用户交互。通过执行 help get 可以看到命令的帮助信息。

  以网上的一个学生成绩表的例子来演示hbase的用法。

name

grad

course

math

art

zkb

5

97

87

baoniu

4

89

80

  这里grad对于表来说是一个列,course对于表来说是一个列族,这个列族由两个列组成math和art,当然我们可以根据我们的需要在course中建立更多的列族,如computer,physics等相应的列添加入course列族。图中需要注意的是90这个值,列族下面的列也是可以没有名字的。

  (1) 建立一个表格scores  具有两个列族grad 和courese

hbase(main):001:0> create'scores','grade''course'
0 row(s) in 0.4780 seconds

  (2) 查看当前HBase中具有哪些表

hbase(main):002:0> list
TABLE                                                                                                                                                                                         
scores                                                                                                                                                                               
1 row(s) in 0.0270 seconds

  (3) 查看表的构造

hbase(main):004:0> describe'scores'
DESCRIPTION                                                 ENABLED                                               
 {NAME => 'scores', FAMILIES => [{NAME =>'course', BLOOMFILTER => 'NONE', REPLICATION_SCOPE =>'0'true                                                  
 COMPRESSION => 'NONE', VERSIONS =>'3', TTL => '2147483647', BLOCKSIZE =>'65536', IN_MEMORY => 'fal                                                       
 se', BLOCKCACHE => 'true'}, {NAME => 'grade', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '0', COMPR                                                       
 ESSION => 'NONE', VERSIONS => '3', TTL => '2147483647', BLOCKSIZE =>'65536', IN_MEMORY =>'false',                                                        
 BLOCKCACHE =>'true'}]}                                                                                                                                    
1 row(s) in 0.0390 seconds

  (4) 加入一行数据,行名称为zkb 列族grad的列名为”” 值位5

hbase(main):006:0> put'scores','zkb','grade:','5'       
0 row(s) in 0.0420 seconds

  (5) 给zkb这一行的数据的列族course添加一列<math,97>

hbase(main):007:0> put'scores','zkb','course:math','97'
0 row(s) in 0.0270 seconds

  (6) 给zkb这一行的数据的列族course添加一列<art,87>

hbase(main):008:0> put'scores','zkb','course:art','87'
0 row(s) in 0.0260 seconds

  (7) 加入一行数据,行名称为baoniu 列族grad的列名为”” 值为4

hbase(main):009:0> put'scores','baoniu','grade:','4'    
0 row(s) in 0.0260 seconds

  (8) 给baoniu这一行的数据的列族course添加一列<math,89>

hbase(main):010:0> put'scores','baoniu','course:math','89'
0 row(s) in 0.0270 seconds

  (9) 给Jerry这一行的数据的列族course添加一列<art,80>

hbase(main):011:0> put'scores','baoniu','course:art','80'
0 row(s) in 0.0270 seconds

  (10) 查看scores表中zkb的相关数据

hbase(main):012:0> get'scores','zkb'
COLUMN                     CELL                                                                                                               
 course:art                              timestamp=1316100110921, value=87                                                                                  
 course:math                             timestamp=1316100025944, value=97                                                                                  
 grade:                                  timestamp=1316099975625, value=5                                                                                   
3 row(s) in 0.0480 seconds

  (11) 查看scores表中所有数据

  注意:scan命令可以指定startrow,stoprow来scan多个row,例如:scan 'user_test',{COLUMNS =>'info:username',LIMIT =>10, STARTROW => 'test',STOPROW=>'test2'}

hbase(main):013:0> scan'scores'
ROW                        COLUMN+CELL                                                                                                        
 baoniu                                  column=course:art, timestamp=1316100293784, value=80                                                               
 baoniu                                  column=course:math, timestamp=1316100234410, value=89                                                              
 baoniu                                  column=grade:, timestamp=1316100178609, value=4                                                                    
 zkb                                     column=course:art, timestamp=1316100110921, value=87                                                               
 zkb                                     column=course:math, timestamp=1316100025944, value=97                                                              
 zkb                                     column=grade:, timestamp=1316099975625, value=5                                                                    
2 row(s) in 0.0470 seconds

  (12) 查看scores表中所有数据courses列族的所有数据

hbase(main):017:0> scan'scores',{COLUMNS => 'course'}
ROW                        COLUMN+CELL                                                                                                        
 baoniu                                  column=course:art, timestamp=1316100293784, value=80                                                               
 baoniu                                  column=course:math, timestamp=1316100234410, value=89                                                              
 zkb                                     column=course:art, timestamp=1316100110921, value=87                                                               
 zkb                                     column=course:math, timestamp=1316100025944, value=97                                                              
2 row(s) in 0.0350 seconds

  (13) 删除scores表

hbase(main):024:0> disable'scores'
0 row(s) in 0.0330 seconds
 
hbase(main):025:0> drop'scores'   
0 row(s) in 1.0840 seconds

  总结下,hbase shell常用的操作命令有create,describe,disable,drop,list,scan,put,get,delete,deleteall,count,status等,通过help可以看到详细的用法。

【转载】HBase基本概念和hbase shell常用命令用法的更多相关文章

  1. hbase基本概念和hbase shell常用命令用法

    1. 简介 HBase是一个分布式的.面向列的开源数据库,源于google的一篇论文<bigtable:一个结构化数据的分布式存储系统>.HBase是Google Bigtable的开源实 ...

  2. (转)Hbase shell 常用命令(1)

    Hbase shell 常用命令(1) link:http://blog.csdn.net/scutshuxue/article/details/6988348 下面我们看看HBase Shell的一 ...

  3. Shell 常用命令总结

      Shell常用命令总结 1  ls命令:列出文件 ls -la 列出当前目录下的所有文件和文件夹 ls a* 列出当前目录下所有以a字母开头的文件 ls -l *.txt 列出当前目录下所有后缀名 ...

  4. Hbase Shell常用命令

    hbase shell常用的操作命令有create,describe,disable,drop,list,scan,put,get,delete,deleteall,count,status等,通过h ...

  5. hbase shell 常用命令

    进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证,需要事先使用相应的keytab进行一下认证(使用kinit命令),认证成功之 ...

  6. hbase基本概念和hbase shell经常使用命令使用方法

    HBase是一个分布式的.面向列的开源数据库,源于google的一篇论文<bigtable:一个结构化数据的分布式存储系统>.HBase是Google Bigtable的开源实现,它利用H ...

  7. HBase表的基本结构和常用命令行操作

    一.HBase表的基本结构 1.概述: 平时常见的MySQL.Oracle数据库都是传统型关系数据库,它们都是按行查询.按行存储:而HBase为非关系型数据库,它是按列存储的的. 在HBase插入数据 ...

  8. TDH-hbase shell 常用命令

    一.HBASE shell 命令操作;1.建表: create ‘tableName’,'f1','f2'; 注:列簇,裂限定符都要尽量短: 2.插入数据: put 'tableName','RowK ...

  9. RedHat Linux Shell常用命令(多数也适用于Unix和AIX)

    注:本文转载自疯狂的矩阵一文,http://www.cnblogs.com/520sojustdoit/p/4642568.html --------------------------------- ...

随机推荐

  1. 使用HTML5实现刮刮卡效果

    你玩过刮刮卡么?一不小心可以中奖的那种.今天我给大家分享一个基于HTML5技术实现的刮刮卡效果,在PC上只需按住鼠标,在手机上你只需按住指头,轻轻刮去图层就可以模拟真实的刮奖效果. 我们利用HTML5 ...

  2. ios开发--一个苹果证书怎么多次使用——导出p12文件

    为什么要导出.p12文件 当我们用大于三个mac设备开发应用时,想要申请新的证书,如果在我们的证书里,包含了3个发布证书,2个开发证书,可以发现再也申请不了开发证书和发布证书了(一般在我们的证书界面中 ...

  3. 简单Ajax例子

    一.概述 1.程序执行流程: (1)点击id="testBtn"的按钮,触发validate(); (2)validate()中有调用request.open方法与server交互 ...

  4. [iOS问题归总]SourceTree+osChina版本管理出现的问题

    1.commit失败(1) 解决办法: 把爆红的路径的文件删除掉, 重新commit 2. push时候, 有100MB限制 解决办法: Git只允许上传最大100MB的文件,如果超过,则会被serv ...

  5. android sqlite 怎么写入存储时间

    字符串类型2013-12-10 12:12:12 SimpleDateFormat formatter = new SimpleDateFormat ("yyyy-MM-dd"); ...

  6. oracle11g 远程登录数据库

    oracle11g 远程登录数据库比以往的任何版本都要简单,什么也不用做 1.OEM登录 在浏览器中直接输入,远程数据库的OEM网址,当然要把localhost或者主机名改成ip地址   https: ...

  7. URAL 1066 Garland 二分

    二分H2的位置,判断条件为是否有Hi < 0 #include <cstdio> #include <cstring> #include <cstdlib> ...

  8. 数据仓库的自动ETL研究

    但是,在实施数据集成的过程中,由于不同用户提供的数据可能来自不同的途径,其数据内容.数据格式和数据质量千差万别,有时甚至会遇到数据格式不能转换或数据转换格式后丢失信息等棘手问题,严重阻碍了数据在各部门 ...

  9. iReport —— A4打印,只占纸张的一半,如何解决

    有没有遇到过这样的情况:用 iReport 生成的 pdf 文件在预览是好像挺好,但打印时却只占了A4 纸的一半(或许有其他情况,反正是不能占满纸张)? 新建报表时,默认的就是A4尺寸. 经过反复试验 ...

  10. eclipse中tomcat使用add and remove无法发布web项目

    继上次启动eclipse中的tomcat报classNotFound的问题后,这次又遇到新问题.就是右键点击tomcat使用add and remove发布web项目至tomcat后,启动tomcat ...