1.4-1.5 HBase部署及基本使用

一、部署

1、准备

##先用Apache hadoop

##之前的cdh 服务器先全部停掉

##解压HBASE

[root@hadoop-senior hbase]# tar zxf hbase-0.98.6-hadoop2-bin.tar.gz -C /opt/modules/

##启动Apache hadoop （hdfs）

[root@hadoop-senior hadoop-2.5.0]# pwd

/opt/modules/hadoop-2.5.0

[root@hadoop-senior hadoop-2.5.0]# sbin/hadoop-daemon.sh start namenode

[root@hadoop-senior hadoop-2.5.0]# sbin/hadoop-daemon.sh start datanode

[root@hadoop-senior hadoop-2.5.0]# jps

23159 Jps

23081 DataNode

22996 NameNode

2、配置、启动

hbase-env.sh

export JAVA_HOME=/opt/modules/jdk1.7.0_80

regionservers

改为主机名

hbase-site.xml

<property>

        <name>hbase.rootdir</name>

        <value>hdfs://hadoop-senior.ibeifeng.com:8020/hbase</value>

    </property>

    <property>

        <name>hbase.cluster.distributed</name>

        <value>true</value>

    </property>

    <property>

        <name>hbase.zookeeper.quorum</name>

        <value>hadoop-senior.ibeifeng.com</value>

    </property>

启动

##替换jar包，事先准备好的，(cdh应该就不需要替换了)

[root@hadoop-senior hbase-0.98.6-hadoop2]# mv lib/hadoop-* /tmp/

[root@hadoop-senior hadoop-2.5.0-jars]# cp -r ./* /opt/modules/hbase-0.98.6-hadoop2/lib/

[root@hadoop-senior hbase-0.98.6-hadoop2]# mv lib/zookeeper-3.4.6.jar /tmp/

##启动

[root@hadoop-senior hbase-0.98.6-hadoop2]# bin/start-hbase.sh 

[root@hadoop-senior hbase-0.98.6-hadoop2]# jps

24548 Jps

24155 HMaster

23081 DataNode

24084 HQuorumPeer

24266 HRegionServer

22996 NameNode

端口：60010       //可以web访问：ip:port

3、hdfs上HBASE各个目录

[root@hadoop-senior hadoop-2.5.0]# bin/hdfs dfs -ls /

Found 3 items

drwxr-xr-x   - root supergroup          0 2019-05-20 14:45 /hbase

drwx-w----   - root supergroup          0 2019-04-18 17:33 /tmp

drwxr-xr-x   - root supergroup          0 2019-04-18 17:21 /user

[root@hadoop-senior hadoop-2.5.0]# bin/hdfs dfs -ls /hbase

Found 6 items

drwxr-xr-x   - root supergroup          0 2019-05-20 14:45 /hbase/.tmp

drwxr-xr-x   - root supergroup          0 2019-05-20 14:45 /hbase/WALs

drwxr-xr-x   - root supergroup          0 2019-05-20 14:31 /hbase/data

-rw-r--r--   3 root supergroup         42 2019-05-20 14:31 /hbase/hbase.id

-rw-r--r--   3 root supergroup          7 2019-05-20 14:31 /hbase/hbase.version

drwxr-xr-x   - root supergroup          0 2019-05-20 14:46 /hbase/oldWALs

##

/hbase/.tmp

     当对表做创建或者删除操作的时候，会将表move 到该 tmp 目录下，然后再去做处理操作。

/hbase/WALs

    HBase 是支持 WAL（Write Ahead Log） 的，HBase 会在第一次启动之初会给每一台 RegionServer 在WALs下创建一个目录，若客户端如果开启WAL 模式，

会先将数据写入一份到WALs下，当 RegionServer crash 或者目录达到一定大小，会开启 replay 模式，类似 MySQL 的 binlog。

/hbase/data

    存储hbase数据，下面含有两个命名空间default和hbase，

/hbase/data/default

     这个默认的namespace即没有指定namespace 的表都将会flush 到该目录下面。

/hbase/data/hbase

     这个namespace 下面存储了 HBase 的 namespace、meta 和acl 三个表，这里的 meta 表跟0.94版本的.META.是一样的，自0.96之后就已经将 ROOT 表去掉了，直接从Zookeeper 中找到meta 表的位置，然后通过 meta 表定位到 region。 namespace 中存储了 HBase 中的所有 namespace 信息，包括预置的hbase 和 default。acl 则是表的用户权限控制。

如果自定义一些 namespace 的话，就会再/hbase/data 目录下新建一个 namespace 文件夹，该 namespace 下的表都将 flush 到该目录下。

/hbase/hbase.id

     它是一个文件，存储集群唯一的 cluster id 号，是一个 uuid。

/hbase/hbase.version

    同样也是一个文件，存储集群的版本号，貌似是加密的，看不到，只能通过web-ui 才能正确显示出来。

/hbase/oldWALs

    当WALs文件夹中的 HLog 没用之后会 move 到.oldWALs 中，HMaster 会定期去清理。

二、HBase Shell基本使用

1、登入命令行

[root@hadoop-senior hbase-0.98.6-hadoop2]# bin/hbase

Usage: hbase [<options>] <command> [<args>]

Options:

  --config DIR    Configuration direction to use. Default: ./conf

  --hosts HOSTS   Override the list in 'regionservers' file

Commands:

Some commands take arguments. Pass no args or -h for usage.

  shell           Run the HBase shell

  hbck            Run the hbase 'fsck' tool

  hlog            Write-ahead-log analyzer

  hfile           Store file analyzer

  zkcli           Run the ZooKeeper shell

  upgrade         Upgrade hbase

  master          Run an HBase HMaster node

  regionserver    Run an HBase HRegionServer node

  zookeeper       Run a Zookeeper server

  rest            Run an HBase REST server

  thrift          Run the HBase Thrift server

  thrift2         Run the HBase Thrift2 server

  clean           Run the HBase clean up script

  classpath       Dump hbase CLASSPATH

  mapredcp        Dump CLASSPATH entries required by mapreduce

  pe              Run PerformanceEvaluation

  ltt             Run LoadTestTool

  version         Print the version

  CLASSNAME       Run the class named CLASSNAME

[root@hadoop-senior hbase-0.98.6-hadoop2]# bin/hbase shell    //进入HBASE命令行

hbase(main):001:0> help                    //查看帮助

2、操作命令

hbase(main):007:0> help 'create'        //查看建表帮助

hbase(main):004:0> create 'user', 'info'        //创建一个表，user：表名；  info：列簇

hbase(main):005:0> list            //列出表

hbase(main):006:0> describe 'user'        //查看表结构

##插入数据

hbase(main):008:0> put 'user', '10001', 'info:name', 'zhangsan'    //user：表名；  10001：rowkey；   info:name：列簇的其中一列；   zhangsan：值

0 row(s) in 0.0770 seconds 

hbase(main):010:0> put 'user', '10001', 'info:age', '25'

0 row(s) in 0.0060 seconds

hbase(main):011:0> put 'user', '10001', 'info:sex', 'male'

0 row(s) in 0.0040 seconds

hbase(main):012:0>  put 'user', '10001', 'info:address', 'shanghai'

##查询

HBase的数据查询有三种方式：

*依据rowkey查询，最快的

    get

*范围查询

    scan range

*全表扫描

    scan

##查询10001这个rowkey下的所有列数据

hbase(main):014:0> get 'user', '10001'

COLUMN                                       CELL

 info:address                                timestamp=1558342595476, value=shanghai

 info:age                                    timestamp=1558342530687, value=25

 info:name                                   timestamp=1558342470065, value=zhangsan

 info:sex                                    timestamp=1558342551186, value=male

4 row(s) in 0.0160 seconds

##单独列查询

hbase(main):015:0> get 'user', '10001', 'info:name'

COLUMN                                       CELL

 info:name                                   timestamp=1558342470065, value=zhangsan

1 row(s) in 0.0080 seconds

3、操作命令

##插入数据，rowkey：10002

hbase(main):016:0> put 'user', '10002', 'info:name', 'wangwu'

0 row(s) in 0.0040 seconds

hbase(main):017:0> put 'user', '10002', 'info:age', '30'

0 row(s) in 0.0040 seconds

hbase(main):018:0> put 'user', '10002', 'info:tel', '231294737'

0 row(s) in 0.0030 seconds

hbase(main):019:0> put 'user', '10002', 'info:qq', '231294737'

0 row(s) in 0.0030 seconds

##全表扫描查询

hbase(main):020:0> scan 'user'

ROW                                          COLUMN+CELL

 10001                                       column=info:address, timestamp=1558342595476, value=shanghai

 10001                                       column=info:age, timestamp=1558342530687, value=25

 10001                                       column=info:name, timestamp=1558342470065, value=zhangsan

 10001                                       column=info:sex, timestamp=1558342551186, value=male

 10002                                       column=info:age, timestamp=1558343570256, value=30

 10002                                       column=info:name, timestamp=1558343559457, value=wangwu

 10002                                       column=info:qq, timestamp=1558343612746, value=231294737

 10002                                       column=info:tel, timestamp=1558343607851, value=231294737

2 row(s) in 0.0220 seconds

##插入数据，rowkey：10003

hbase(main):021:0> put 'user', '10003', 'info:name', 'zhaoliu'

0 row(s) in 0.0050 seconds

##范围查询，只查询name和age两个列

hbase(main):022:0> scan 'user', {COLUMNS => ['info:name', 'info:age']}

ROW                                          COLUMN+CELL

 10001                                       column=info:age, timestamp=1558342530687, value=25

 10001                                       column=info:name, timestamp=1558342470065, value=zhangsan

 10002                                       column=info:age, timestamp=1558343570256, value=30

 10002                                       column=info:name, timestamp=1558343559457, value=wangwu

 10003                                       column=info:name, timestamp=1558345826709, value=zhaoliu 

##只从某个rowkey开始往后查

hbase(main):023:0> scan 'user', {STARTROW => '10002'}

ROW                                          COLUMN+CELL

 10002                                       column=info:age, timestamp=1558343570256, value=30

 10002                                       column=info:name, timestamp=1558343559457, value=wangwu

 10002                                       column=info:qq, timestamp=1558343612746, value=231294737

 10002                                       column=info:tel, timestamp=1558343607851, value=231294737

 10003                                       column=info:name, timestamp=1558345826709, value=zhaoliu

2 row(s) in 0.0120 seconds

#从某个rowkey到某个rowkey(包前不包后)

hbase(main):002:0> scan 'user', {STARTROW => '10001',ENDROW => '10003'}

ROW                                   COLUMN+CELL
10001                                column=info:address, timestamp=1558342595476, value=shanghai
10001                                column=info:age, timestamp=1558342530687, value=25
10001                                column=info:name, timestamp=1558342470065, value=zhangsan
10001                                column=info:sex, timestamp=1558342551186, value=male
10002                                column=info:age, timestamp=1558343570256, value=30
10002                                column=info:name, timestamp=1558343559457, value=wangwu
10002                                column=info:qq, timestamp=1558343612746, value=231294737
10002                                column=info:tel, timestamp=1558343607851, value=231294737


##删除数据

hbase(main):004:0> delete 'user', '10001', 'info:name'  //删除user表下，rowkey为10001，列为name的值；

hbase(main):008:0> deleteall 'user', '10001'                  //删除整个rowkey下的值

1.4-1.5 HBase部署及基本使用的更多相关文章

大数据【七】HBase部署
接着前面的Zookeeper部署之后,现在可以学习HBase了. HBase是基于Hadoop的开源分布式数据库,它以Google的BigTable为原型,设计并实现了具有高可靠性.高性能.列存储.可 ...
Hadoop+Spark+Hbase部署整合篇
之前的几篇博客中记录的Hadoop.Spark和Hbase部署过程虽然看起来是没多大问题,但是之后在上面跑任务的时候出现了各种各样的配置问题.庆幸有将问题记录下来,可以整理出这篇部署整合篇. 确保集群 ...
HBase部署与使用
HBase部署与使用概述 HBase的角色 HMaster 功能: 监控RegionServer 处理RegionServer故障转移处理元数据的变更处理region的分配或移除在空闲时间进行 ...
Zookeeper + Hadoop + Hbase部署备忘
网上类似的文章很多,本文只是记录下来备忘.本文分四大步骤: 准备工作.安装zookeeper.安装hadoop.安装hbase,下面分别详细介绍: 一准备工作 1. 下载 zookeeper.had ...
001.hadoop及hbase部署
一环境准备 1.1 相关环境系统:CentOS 7 #CentOS 6.x系列也可参考,转换相关命令即可. hadoop包:hadoop-2.7.0.tar.gz #下载官方地址:http://w ...
hbase 部署
hbase的部署相对于java来说就比较简单啦,主要过程如下: 1.下载hbase最新的稳定版 2.拷贝到相应的目录 3.修改conf目录下的hbase-env.sh,设置java 和不适用内置的zo ...
hbase部署经验与坑总结
1.本地单机部署hbase,想要使用独立zookeeper,不使用自带的 vim conf/hbase-env.sh export HBASE_MANAGES_ZK=false 设置不使用自带zook ...
hbase部署
Hbase: 更细的操作和原理研究笔记和视频 cloudera Hbase:https://sysit.cn/blog/post/sysit/cloudera%E5%AE%89%E8%A3%85HBA ...
Hadoop及Hbase部署
原文转自:https://www.cnblogs.com/itzgr/p/10233932.html作者:木二目录一环境准备 1.1 相关环境 1.2 网络环境二基础环境配置 2.1 配置相 ...

随机推荐

VS2012+Win7站点公布具体步骤
VS2012+Win7站点公布详细步骤本机环境: 本文分三个部分介绍Web项目公布的常规方法,大神级别能够略过,主要是为了方便一些刚開始学习的人. 第一部分:VS2012把项目公布到文件系统. 第二 ...
c和c++的输入输出
格式输出: printf(格式控制, 输出表列); %d 十进制数 %md m为指定的宽度若数据位数小于m,则左端补以空格;若大于m,则按实际位数输出 %ld 长整型数据 %mld 指定字段宽 ...
EasyDarwin添加自定义的服务模块EasyMyModule
EasyDarwin模块的要求每个QTSS模块必须实现两个方法函数: 一个Main入口函数,服务器在启动的时候将调用这个方法函数,来对您开发的模块所在的QTSS stub库进行初始化. 一个Disp ...
页面滚动tab监听
页面需求,顶部固定,左侧固定,右侧内容滚动所以给右侧内容高度,内容里面滚动(使用固定定位的话,右侧内容总会给head部分遮挡,比较坑) 1.左侧是侧边栏,点击li,右侧内容显示当前右侧内容滚动, ...
React深入源码--了解Redux用法之Provider
在Redux中最核心的自然是组件,以及组件相关的事件与数据流方式.但是我们在Redux中并没有采用传统的方式在getInitialState()中去初始化数据,而是采用Provider统一处理,省去了 ...
Java实现MD5加密解密类
http://blog.csdn.net/m_changgong/article/details/4361526
解析json的方式
一.Javascrip操作json 原始方式: var str1 = '{ "name": "jacun", "addr": "b ...
Centos7利用kvm搭建Windows虚拟机
这几天玩了一下kvm虚拟化,真的很有意思,我把这几天踩的坑,还有收获,都记录下来,作为以后的复习和检查. 首先说一下我的基本逻辑,我有一台win7的笔记本,我的底层虚拟化是使用VMWare构建的Cen ...
[NOIP2011提高组day2]-2-聪明的质监员
2．聪明的质监员(qc.cpp/c/pas) [问题描述] 小 T 是一名质量监督员,最近负责检验一批矿产的质量.这批矿产共有 n 个矿石,从 1到 n 逐一编号,每个矿石都有自己的重量 wi 以及价 ...
CSS3学习笔记（3）—左右飞入的文字
前几天看到一个企业招聘的动画觉得很炫,里面有个企业介绍的文字是用飞入的效果做出来的,今天尝试了写了一下,感觉还不错~\(≧▽≦)/~啦啦啦下面来看我做的动态效果: 其实上面的效果很简单的,我的截图软 ...

1.4-1.5 HBase部署及基本使用

1.4-1.5 HBase部署及基本使用的更多相关文章

随机推荐

热门专题