Getting Started

Getting Started. 1

1. Introduction. 1

2.Quick Start-Strandalone HBase. 1

2.1 JDK版本选择... 1

2.2 Get Started With HBase. 1

2.3 伪分布式本地安装... 1

2.4 高级——完全分布式... 1

1. Introduction

QuickStart会介绍如何安装和运行一个单节点,standalone Hbase实例

2.Quick Start-Strandalone HBase

这节介绍了single-node standalone HBase的安装。Standalone实例有所有的HBase守护运行在一个JVM。也会演示如何使用hbase shell来创建表,插入数据,执行put和scan操作,enable,disable表,关闭和启动HBase。

2.1 JDK版本选择

HBase需要JDK,可以查看需要的JDK版本: Java

2.2 Get Started With HBase

过程:下载,配置和以standalone mode启动HBase

1.选择一个Mirror并且下载

2.解压下载文件,然后cd到目录。

3.设置JAVA_HOME环境变量。可以用传统的方式设置,也可以使用conf/hbase-env.sh集中管理。编辑这个文件,去掉JAVA_HOME的注释,并且设置正确的路径。JAVA_HOME变量要被设置到包含执行文件bin/java的目录。很多最新的Linux操作系统提供一个机制比如/usr/bin/alternatives,用来切换java版本的执行文件。在这个例子中,你可以设置JAVA_HOME到包含link的目录,比如/usr。
                JAVA_HOME=/usr

4.编辑conf/hbase-site.xml,hbase的配置文件。这个时候需要指定一些本地路径。用来HBase的数据写入和Zookeeper数据写入。默认新的目录创建在/tmp下。很多服务器会在重启后会把/tmp的目录清空。所以需要把数据放在其他地方。下面的配置HBase的数据目录被配置在testuser的home目录下面。

Standalone Hbase配置例子:

<configuration>

<property>

<name>hbase.rootdir</name>

<value>file:///home/testuser/hbase</value>

</property>

<property>

<name>hbase.zookeeper.property.dataDir</name>

<value>/home/testuser/zookeeper</value>

</property>

<property>

<name>hbase.unsafe.stream.capability.enforce</name>

<value>false</value>

<description>

Controls whether HBase will check for stream capabilities (hflush/hsync).

Disable this if you intend to run on LocalFileSystem, denoted by a rootdir

with the 'file://' scheme, but be mindful of the NOTE below.

WARNING: Setting this to false blinds you to potential data loss and

inconsistent system state in the event of process and/or node
failures. If

HBase is complaining of an inability to use hsync or hflush it's most

likely not a false positive.

</description>

</property>

</configuration>

不需要创建HBase的目录,HBase会自己创建。如果创建了目录HBase会进行合并。

如果已经存在的HDFS已经有了HBase的home,设置hbase.rootdir指向hdfs实例,比如:hdfs://namenode.example.org:8020/hbase。

1.bin/start-hbase.sh脚本是快速启动hbase的方法。如果启动正常成功启动的信息就会被输出。可以使用jps查看HMaster是否启动。在standalone Hbase守护进程都运行在一个jvm上。即 HMaster,一个HregionServer,Zookeeper守护进程。可以到http://localhost:16010查看HBase Web UI。

过程:第一次使用HBase

1.连接到Hbase

使用bhase shell连接到hbase实例。

$ ./bin/hbase shell
hbase(main):001:0>

2.输出hbase shell帮助

在命令行上输入help回车,会显示hbase shell的帮助。

3.创建表

使用 create命令创建新表

hbase(main):001:0> create 'test', 'cf'
0 row(s) in 0.4170 seconds
 
=> Hbase::Table - test

4.输出表的信息

使用list命令确认已经存在的表

hbase(main):002:0> list 'test'
TABLE
test
1 row(s) in 0.0180 seconds
 
=> ["test"]

使用describe查看表的详细信息

hbase(main):003:0> describe 'test'
Table test is ENABLED
test
COLUMN FAMILIES DESCRIPTION
{NAME => 'cf', VERSIONS => '1', EVICT_BLOCKS_ON_CLOSE => 'false', NEW_VERSION_BEHAVIOR => 'false', KEEP_DELETED_CELLS => 'FALSE', CACHE_DATA_ON_WRITE =>
'false', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', MIN_VERSIONS => '0', REPLICATION_SCOPE => '0', BLOOMFILTER => 'ROW', CACHE_INDEX_ON_WRITE => 'f
alse', IN_MEMORY => 'false', CACHE_BLOOMS_ON_WRITE => 'false', PREFETCH_BLOCKS_ON_OPEN => 'false', COMPRESSION => 'NONE', BLOCKCACHE => 'true', BLOCKSIZE
 => '65536'}
1 row(s)
Took 0.9998 seconds

5.put数据到表

使用put命令插入数据。

hbase(main):003:0> put 'test', 'row1', 'cf:a', 'value1'
0 row(s) in 0.0850 seconds
 
hbase(main):004:0> put 'test', 'row2', 'cf:b', 'value2'
0 row(s) in 0.0110 seconds
 
hbase(main):005:0> put 'test', 'row3', 'cf:c', 'value3'
0 row(s) in 0.0100 seconds

这里插入了3个值,在row1中插入,列cf:a,值value1。Hbase中的列由列簇比如 cf,冒号,后缀组成。

6.扫描表的所有数据

获取hbase表的数据的方法就是scan。使用scan命令扫描表中的数据。可以过滤。

hbase(main):006:0> scan 'test'
ROW                                      COLUMN+CELL
 row1                                    column=cf:a, timestamp=1421762485768, value=value1
 row2                                    column=cf:b, timestamp=1421762491785, value=value2
 row3                                    column=cf:c, timestamp=1421762496210, value=value3
3 row(s) in 0.0230 seconds

7.获取一个行的数据

hbase(main):007:0> get 'test', 'row1'
COLUMN                                   CELL
 cf:a                                    timestamp=1421762485768, value=value1
1 row(s) in 0.0350 seconds

8.disable表

如果想要删除表或者修改表的设置,在其他情况下需要先disable表,使用disable命令。如果要重新enable使用enable命令。

hbase(main):008:0> disable 'test'
0 row(s) in 1.1820 seconds
 
hbase(main):009:0> enable 'test'
0 row(s) in 0.1770 seconds

9.删除表

使用drop来删除表

hbase(main):011:0> drop 'test'
0 row(s) in 0.1370 seconds

10.退出hbase shell

使用quit命令退出hbase shell,hbase的服务任然是运行的。

过程:关闭Hbase

1.和bin/start-hbase.sh一样,使用bin/start-hbase.sh来关闭

$ ./bin/stop-hbase.sh
stopping hbase....................
$

2.执行命令后,过几分钟就会被关闭,可以使用jps查看,保证HMaster和HregionServer进程被关闭。

2.3 伪分布式本地安装

已经安装了standalone版本之后,可以重现配置成伪分布式,伪分布式还是在一个host下运行,但是hbase的守护进程是独立的进程而不是在一个jvm下。默认的rootdir还是在/tmp下。也可以跳过直接存在本地文件系统下。

1.关闭已经在运行的hbase

2.配置hbase
编辑hbase-site.xml配置,首选设置hbase.cluster.distributed=true

<property>
  <name>hbase.cluster.distributed</name>
  <value>true</value>
</property>

然后修改hbase.rootdir从本地文件系统指向HDFS,使用hdfs:////比如hdfs的端口是8020.

<property>
  <name>hbase.rootdir</name>
  <value>hdfs://localhost:8020/hbase</value>
</property>

不需要在hdfs创建好目录,hbase会创建。如果已经创建了目录,那么就会合并。

3.启动hbase
使用bin/start-hbase.sh命令启动hbase。如果系统配置的正确那么jos命令会输出HMaster和HRegionServer的进程。

4.检查hbase在hdfs上的目录
如果运行没有问题,hbase会在hdfs创建目录。按上面的配置会保存在/hbase下。可以使用hadoop fs命令查看。

$ ./bin/hadoop fs -ls /hbase
Found 7 items
drwxr-xr-x   - hbase users          0 2014-06-25 18:58 /hbase/.tmp
drwxr-xr-x   - hbase users          0 2014-06-25 21:49 /hbase/WALs
drwxr-xr-x   - hbase users          0 2014-06-25 18:48 /hbase/corrupt
drwxr-xr-x   - hbase users          0 2014-06-25 18:58 /hbase/data
-rw-r--r--   3 hbase users         42 2014-06-25 18:41 /hbase/hbase.id
-rw-r--r--   3 hbase users          7 2014-06-25 18:41 /hbase/hbase.version
drwxr-xr-x   - hbase users          0 2014-06-25 21:49 /hbase/oldWALs

5.创建一个表并且导入数据
可以使用hbase shell创建一个表,并且导入数据,然后从表里面读取数据, shell exercises

6.启动和关闭HBase的备份。
HMaster服务控制了hbase的集群。可以启动9个HMaster备份服务,会有一个10个HMaster,包括primary。使用local-master-backup.sh来备份HMaster。对于每个备份的master,想要启动,需要分配端口。每个HMaster有2个端口(默认是16000和16010)。Offset是2,所以备份要使用16002和16012.如果启动3个服务那么会使用16002/16012,16003/16013和16005/16015。

$ ./bin/local-master-backup.sh start 2 3 5

为了kill backup master然不kill整个集群,就需要找到它的PID,然后用kill -9命令去kill。PID保存在/tmp/hbase-USER-X-master.pid。以下命令是kill offset为1的。

$ cat /tmp/hbase-testuser-1-master.pid |xargs kill -9

7.启动和关闭额外的RegionServers
HRegionServer管理存储文件中的数据。存储文件由HMaster管理。通常每个node运行一个HRegionServer。一个系统上运行多个HRegionServer用来测试伪分布式模式。Local-regionservers.sh命令用来运行多个Regionservers。和local-master-backup.sh运行方式类似。每个参数提供了一个端口偏移值。每个RegionServer需要2个端口默认是16020,16030。因为HBase
1.1.0 之前HMaster不使用region server使用端口,保留了10个端口16020到16029,16030到16039用来给RegionServers使用。在运行local-regionservers.sh之前需要设置环境变量HBASE_RS_BASE_PORT 和HBASE_RS_INFO_BASE_PORT,比如16200和16300,那么就可以支持99个额外的RegionServers。以下命令是启动4个额外的RegionServer,从16022/16032开始启动(在base port上增加2)。

$ .bin/local-regionservers.sh start 2 3 4 5

位了手动关闭RegionServer,使用local-regionserver.sh来关闭。

$ .bin/local-regionservers.sh stop 3

8.关闭HBase
使用bin/stop-hbase.sh来关闭hbase。

2.4 高级——完全分布式

实际情况下,需要一个完全的分布式配置在实际的场景下,来测试hbase。在分布式配置中,cluster包含很多个节点,每个节点可能运行hbase的一个或多个守护。包括主的和备份的Master实例,多个Zookeeper节点和多个RegionServer节点。

Node
Name

Master

ZooKeeper

RegionServer

node-a.example.com

yes

yes

no

node-b.example.com

backup

yes

yes

node-c.example.com

no

yes

yes

过程:配置无密码SSH访问

过程:准备node-a

在node-a上会运行primary master和Zookeeper进程,没有RegionServer。根据之前的关闭node-a上的RegionServer。

1.编辑conf/regionserver,删除localhost。增加node-b和node-c的ip地址或者主机名

如果还是想要在node-a上运行RegionServer,也使用node-a的主机名。

2.配置hbase使用node-b作为backup master。

创建一个文件在conf下叫backup-masters,并且增加node-b的hostname。

3.配置Zookeeper

在真是环境下Zookeeper配置很多。Zookeeper配置可以看 zookeeper 这个配置可以让hbase在每个集群的node上,启动和管理Zookeeper实例。

在node-a编辑conf/hbase-site.xml增加以下配置:

<property>
  <name>hbase.zookeeper.quorum</name>
  <value>node-a.example.com,node-b.example.com,node-c.example.com</value>
</property>
<property>
  <name>hbase.zookeeper.property.dataDir</name>
  <value>/usr/local/zookeeper</value>
</property>

4.在所有的配置中,使用node-a的主机名来替换localhost。

过程:准备node-b,node-c

Node-b会运行一个backup master和Zookeeper实例

1.下载并解压hbase

2.把node-a的配置文件复制到node-b,node-c

每个集群中的node都有一样的配置信息。

过程:启动和测试集群

1.保证hbase没有在任何节点上运行。

如果忘记停止hbase,那么就会报错。使用jps检查是否还在运行主要看HMaster,HregionServer,HQuorumPeer进程。如果存在就先kill。

2.启动集群

在node-a上,运行start-hbase.sh命令。Zookeeper会先启动然后是master,然后是RegionServer最后是backup master。

3.验证

在每个node 上运行jps,查看进程是否运行。

Node-a上输出

$ jps
20355 Jps
20071 HQuorumPeer
20137 HMaster

Node-b上

$ jps
15930 HRegionServer
16194 Jps
15838 HQuorumPeer
16010 HMaster

Node-c上

$ jps
13901 Jps
13639 HQuorumPeer
13737 HRegionServer

Zookeeper进程名

HQourumPeer是Zookeeper的实例有HBase控制。如果使用这种方式的Zookeeper每个集群node都会有一个节点。如果Zookeeper在hbase之外的。可以使用QuorumPeer。更多的Zookeeper可以看zookeeper 

4.使用Web UI访问

在hbase 0.98之后,http端口从master端口60010,RegionServer 60030修改到了16010和16030。

如果启动正常,就可以通过Web访问Master

5.测试服务消失会发生什么

当上面3节点的集群配置完毕,还要看如果primary master或者RegionServer被kill之后会发生什么。

[HBase Manual] CH2 Getting Started的更多相关文章

  1. [HBase Manual]CH5 HBase运行模式:单实例和分布式

    HBase运行模式:单实例和分布式 HBase运行模式:单实例和分布式 1.单实例模式 1.1 单实例在HDFS下 2.分布式 2.1 伪分布式 3完全分布式 HBase有2种运行模式,单实例和分布式 ...

  2. [HDFS Manual] CH2 HDFS Users Guide

    2 HDFS Users Guide 2 HDFS Users Guide 2.1目的 2.2.概述 2.3.先决条件 2.4. Web Interface 2.5. Shell Command 2. ...

  3. Mongodb Manual阅读笔记:CH2 Mongodb CRUD 操作

    2 Mongodb CRUD 操作 Mongodb Manual阅读笔记:CH2 Mongodb CRUD 操作Mongodb Manual阅读笔记:CH3 数据模型(Data Models)Mong ...

  4. Mongodb Manual阅读笔记:CH9 Sharding

    9.分片(Sharding) Mongodb Manual阅读笔记:CH2 Mongodb CRUD 操作Mongodb Manual阅读笔记:CH3 数据模型(Data Models)Mongodb ...

  5. Mongodb Manual阅读笔记:CH8 复制集

    8 复制 Mongodb Manual阅读笔记:CH2 Mongodb CRUD 操作Mongodb Manual阅读笔记:CH3 数据模型(Data Models)Mongodb Manual阅读笔 ...

  6. Mongodb Manual阅读笔记:CH7 索引

    7索引 Mongodb Manual阅读笔记:CH2 Mongodb CRUD 操作Mongodb Manual阅读笔记:CH3 数据模型(Data Models)Mongodb Manual阅读笔记 ...

  7. Mongodb Manual阅读笔记:CH6 聚合

    6 聚合 Mongodb Manual阅读笔记:CH2 Mongodb CRUD 操作Mongodb Manual阅读笔记:CH3 数据模型(Data Models)Mongodb Manual阅读笔 ...

  8. Mongodb Manual阅读笔记:CH5 安全性

    5 安全性 Mongodb Manual阅读笔记:CH2 Mongodb CRUD 操作Mongodb Manual阅读笔记:CH3 数据模型(Data Models)Mongodb Manual阅读 ...

  9. Mongodb Manual阅读笔记:CH4 管理

    4 管理 Mongodb Manual阅读笔记:CH2 Mongodb CRUD 操作Mongodb Manual阅读笔记:CH3 数据模型(Data Models)Mongodb Manual阅读笔 ...

随机推荐

  1. maven仓库设置

    Maven 中央仓库地址: 1.http://www.sonatype.org/nexus/ 私服nexus工具使用 2.http://mvnrepository.com/ 3.http://repo ...

  2. webpack 入门踩坑

    参考来源:知乎张轩 安装 先装好node和npm,因为webpack是一个基于node的项目.然后 npm install -g webpack 全局安装 还可以在当前项目里面也安装一个webpack ...

  3. [MongoDB] MongoDB管理:使用killOp干掉Long Running Operation

    http://www.mongoing.com/archives/2563 MongoDB提供了killOp请求,用于干掉运行时间很长的请求,killOp通常需要与currentOp组合起来使用:先根 ...

  4. Shell脚本笔记(二)Shell变量

    Shell变量 一)全局环境变量 全局变量对于定义它的shell和其子shell都是可见的,但如果生成它的shell被终止,全局变量也就消失了.另外全局变量会被子shell的同名变量覆盖. #定义一个 ...

  5. Linux下MySQL 安装配置

    MySQL 是最流行的关系型数据库管理系统,由瑞典MySQL AB公司开发,目前属于Oracle公司. MySQL所使用的SQL语言是用于访问数据库的最常用标准化语言. MySQL由于其体积小.速度快 ...

  6. MySQL环境变量的配置

    找到mysql安装的bin目录下复制此路径: 我的电脑右击属性====>>高级系统设置==>>环境变量 找到path 单击编辑将路径粘贴到变量值的最前面,在bin后面加上英文的 ...

  7. POJ 水题(刷题)进阶

    转载请注明出处:優YoU http://blog.csdn.net/lyy289065406/article/details/6642573 部分解题报告添加新内容,除了原有的"大致题意&q ...

  8. BZOJ4910 : [Sdoi2017] 苹果树

    问题等价于树形依赖背包,允许一条链每个点各免费一次. 设$f[i][j]$表示按DFS序考虑到$i$,体积为$j$的最大收益. 先放入不能免费的物品,等遍历完儿子后再放入必选的物品,那么$i$到根路径 ...

  9. 如何绘制UML图?

    首先推荐在线绘制UML的网址:https://www.processon.com/,很好用. 在软件开发过程中,开发人员往往需要通过绘制类图来理清业务的实现思路,从而方便代码实现,也便于后期的代码维护 ...

  10. 3ds max学习笔记(十一)-- 修改器

    1.修改器列表: 将常用的修改器放放置在集里: 1.点击[配置]按钮,勾选[显示按钮] 选择[配置修改器集],在新出的弹窗里通过左右拖拽进行设置: 2,选择之后,点击[确定]进行保存: