1.4-1.5 HBase部署及基本使用
一、部署
1、准备
##先用Apache hadoop
##之前的cdh 服务器先全部停掉 ##解压HBASE
[root@hadoop-senior hbase]# tar zxf hbase-0.98.6-hadoop2-bin.tar.gz -C /opt/modules/ ##启动Apache hadoop （hdfs）
[root@hadoop-senior hadoop-2.5.0]# pwd
/opt/modules/hadoop-2.5.0 [root@hadoop-senior hadoop-2.5.0]# sbin/hadoop-daemon.sh start namenode
[root@hadoop-senior hadoop-2.5.0]# sbin/hadoop-daemon.sh start datanode [root@hadoop-senior hadoop-2.5.0]# jps
23159 Jps
23081 DataNode
22996 NameNode
2、配置、启动
hbase-env.sh
export JAVA_HOME=/opt/modules/jdk1.7.0_80
regionservers
改为主机名
hbase-site.xml
<property>
<name>hbase.rootdir</name>
<value>hdfs://hadoop-senior.ibeifeng.com:8020/hbase</value>
</property> <property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property> <property>
<name>hbase.zookeeper.quorum</name>
<value>hadoop-senior.ibeifeng.com</value>
</property>
启动
##替换jar包，事先准备好的，(cdh应该就不需要替换了)
[root@hadoop-senior hbase-0.98.6-hadoop2]# mv lib/hadoop-* /tmp/
[root@hadoop-senior hadoop-2.5.0-jars]# cp -r ./* /opt/modules/hbase-0.98.6-hadoop2/lib/
[root@hadoop-senior hbase-0.98.6-hadoop2]# mv lib/zookeeper-3.4.6.jar /tmp/
##启动
[root@hadoop-senior hbase-0.98.6-hadoop2]# bin/start-hbase.sh [root@hadoop-senior hbase-0.98.6-hadoop2]# jps
24548 Jps
24155 HMaster
23081 DataNode
24084 HQuorumPeer
24266 HRegionServer
22996 NameNode 端口：60010 //可以web访问：ip:port
3、hdfs上HBASE各个目录
[root@hadoop-senior hadoop-2.5.0]# bin/hdfs dfs -ls /
Found 3 items
drwxr-xr-x - root supergroup 0 2019-05-20 14:45 /hbase
drwx-w---- - root supergroup 0 2019-04-18 17:33 /tmp
drwxr-xr-x - root supergroup 0 2019-04-18 17:21 /user [root@hadoop-senior hadoop-2.5.0]# bin/hdfs dfs -ls /hbase
Found 6 items
drwxr-xr-x - root supergroup 0 2019-05-20 14:45 /hbase/.tmp
drwxr-xr-x - root supergroup 0 2019-05-20 14:45 /hbase/WALs
drwxr-xr-x - root supergroup 0 2019-05-20 14:31 /hbase/data
-rw-r--r-- 3 root supergroup 42 2019-05-20 14:31 /hbase/hbase.id
-rw-r--r-- 3 root supergroup 7 2019-05-20 14:31 /hbase/hbase.version
drwxr-xr-x - root supergroup 0 2019-05-20 14:46 /hbase/oldWALs ##
/hbase/.tmp
当对表做创建或者删除操作的时候，会将表move 到该 tmp 目录下，然后再去做处理操作。 /hbase/WALs
HBase 是支持 WAL（Write Ahead Log） 的，HBase 会在第一次启动之初会给每一台 RegionServer 在WALs下创建一个目录，若客户端如果开启WAL 模式，
会先将数据写入一份到WALs下，当 RegionServer crash 或者目录达到一定大小，会开启 replay 模式，类似 MySQL 的 binlog。 /hbase/data
存储hbase数据，下面含有两个命名空间default和hbase， /hbase/data/default
这个默认的namespace即没有指定namespace 的表都将会flush 到该目录下面。 /hbase/data/hbase
这个namespace 下面存储了 HBase 的 namespace、meta 和acl 三个表，这里的 meta 表跟0.94版本的.META.是一样的，自0.96之后就已经将 ROOT 表去掉了，直接从Zookeeper 中找到meta 表的位置，然后通过 meta 表定位到 region。 namespace 中存储了 HBase 中的所有 namespace 信息，包括预置的hbase 和 default。acl 则是表的用户权限控制。
如果自定义一些 namespace 的话，就会再/hbase/data 目录下新建一个 namespace 文件夹，该 namespace 下的表都将 flush 到该目录下。 /hbase/hbase.id
它是一个文件，存储集群唯一的 cluster id 号，是一个 uuid。 /hbase/hbase.version
同样也是一个文件，存储集群的版本号，貌似是加密的，看不到，只能通过web-ui 才能正确显示出来。 /hbase/oldWALs
当WALs文件夹中的 HLog 没用之后会 move 到.oldWALs 中，HMaster 会定期去清理。
二、HBase Shell基本使用
1、登入命令行
[root@hadoop-senior hbase-0.98.6-hadoop2]# bin/hbase
Usage: hbase [<options>] <command> [<args>]
Options:
--config DIR Configuration direction to use. Default: ./conf
--hosts HOSTS Override the list in 'regionservers' file Commands:
Some commands take arguments. Pass no args or -h for usage.
shell Run the HBase shell
hbck Run the hbase 'fsck' tool
hlog Write-ahead-log analyzer
hfile Store file analyzer
zkcli Run the ZooKeeper shell
upgrade Upgrade hbase
master Run an HBase HMaster node
regionserver Run an HBase HRegionServer node
zookeeper Run a Zookeeper server
rest Run an HBase REST server
thrift Run the HBase Thrift server
thrift2 Run the HBase Thrift2 server
clean Run the HBase clean up script
classpath Dump hbase CLASSPATH
mapredcp Dump CLASSPATH entries required by mapreduce
pe Run PerformanceEvaluation
ltt Run LoadTestTool
version Print the version
CLASSNAME Run the class named CLASSNAME [root@hadoop-senior hbase-0.98.6-hadoop2]# bin/hbase shell //进入HBASE命令行
hbase(main):001:0> help //查看帮助
2、操作命令
hbase(main):007:0> help 'create' //查看建表帮助
hbase(main):004:0> create 'user', 'info' //创建一个表，user：表名； info：列簇
hbase(main):005:0> list //列出表
hbase(main):006:0> describe 'user' //查看表结构 ##插入数据
hbase(main):008:0> put 'user', '10001', 'info:name', 'zhangsan' //user：表名； 10001：rowkey； info:name：列簇的其中一列； zhangsan：值
0 row(s) in 0.0770 seconds hbase(main):010:0> put 'user', '10001', 'info:age', '25'
0 row(s) in 0.0060 seconds hbase(main):011:0> put 'user', '10001', 'info:sex', 'male'
0 row(s) in 0.0040 seconds hbase(main):012:0> put 'user', '10001', 'info:address', 'shanghai' ##查询
HBase的数据查询有三种方式：
*依据rowkey查询，最快的
get *范围查询
scan range *全表扫描
scan ##查询10001这个rowkey下的所有列数据
hbase(main):014:0> get 'user', '10001'
COLUMN CELL
info:address timestamp=1558342595476, value=shanghai
info:age timestamp=1558342530687, value=25
info:name timestamp=1558342470065, value=zhangsan
info:sex timestamp=1558342551186, value=male
4 row(s) in 0.0160 seconds ##单独列查询 hbase(main):015:0> get 'user', '10001', 'info:name'
COLUMN CELL
info:name timestamp=1558342470065, value=zhangsan
1 row(s) in 0.0080 seconds
3、操作命令
##插入数据，rowkey：10002
hbase(main):016:0> put 'user', '10002', 'info:name', 'wangwu'
0 row(s) in 0.0040 seconds hbase(main):017:0> put 'user', '10002', 'info:age', '30'
0 row(s) in 0.0040 seconds hbase(main):018:0> put 'user', '10002', 'info:tel', '231294737'
0 row(s) in 0.0030 seconds hbase(main):019:0> put 'user', '10002', 'info:qq', '231294737'
0 row(s) in 0.0030 seconds ##全表扫描查询
hbase(main):020:0> scan 'user'
ROW COLUMN+CELL
10001 column=info:address, timestamp=1558342595476, value=shanghai
10001 column=info:age, timestamp=1558342530687, value=25
10001 column=info:name, timestamp=1558342470065, value=zhangsan
10001 column=info:sex, timestamp=1558342551186, value=male
10002 column=info:age, timestamp=1558343570256, value=30
10002 column=info:name, timestamp=1558343559457, value=wangwu
10002 column=info:qq, timestamp=1558343612746, value=231294737
10002 column=info:tel, timestamp=1558343607851, value=231294737
2 row(s) in 0.0220 seconds ##插入数据，rowkey：10003
hbase(main):021:0> put 'user', '10003', 'info:name', 'zhaoliu'
0 row(s) in 0.0050 seconds ##范围查询，只查询name和age两个列
hbase(main):022:0> scan 'user', {COLUMNS => ['info:name', 'info:age']}
ROW COLUMN+CELL
10001 column=info:age, timestamp=1558342530687, value=25
10001 column=info:name, timestamp=1558342470065, value=zhangsan
10002 column=info:age, timestamp=1558343570256, value=30
10002 column=info:name, timestamp=1558343559457, value=wangwu
10003 column=info:name, timestamp=1558345826709, value=zhaoliu ##只从某个rowkey开始往后查
hbase(main):023:0> scan 'user', {STARTROW => '10002'}
ROW COLUMN+CELL
10002 column=info:age, timestamp=1558343570256, value=30
10002 column=info:name, timestamp=1558343559457, value=wangwu
10002 column=info:qq, timestamp=1558343612746, value=231294737
10002 column=info:tel, timestamp=1558343607851, value=231294737
10003 column=info:name, timestamp=1558345826709, value=zhaoliu
2 row(s) in 0.0120 seconds
#从某个rowkey到某个rowkey(包前不包后)
hbase(main):002:0> scan 'user', {STARTROW => '10001',ENDROW => '10003'}
ROW COLUMN+CELL
10001 column=info:address, timestamp=1558342595476, value=shanghai
10001 column=info:age, timestamp=1558342530687, value=25
10001 column=info:name, timestamp=1558342470065, value=zhangsan
10001 column=info:sex, timestamp=1558342551186, value=male
10002 column=info:age, timestamp=1558343570256, value=30
10002 column=info:name, timestamp=1558343559457, value=wangwu
10002 column=info:qq, timestamp=1558343612746, value=231294737
10002 column=info:tel, timestamp=1558343607851, value=231294737
##删除数据
hbase(main):004:0> delete 'user', '10001', 'info:name' //删除user表下，rowkey为10001，列为name的值；
hbase(main):008:0> deleteall 'user', '10001' //删除整个rowkey下的值
1.4-1.5 HBase部署及基本使用的更多相关文章
- 大数据【七】HBase部署
接着前面的Zookeeper部署之后,现在可以学习HBase了. HBase是基于Hadoop的开源分布式数据库,它以Google的BigTable为原型,设计并实现了具有高可靠性.高性能.列存储.可 ...
- Hadoop+Spark+Hbase部署整合篇
之前的几篇博客中记录的Hadoop.Spark和Hbase部署过程虽然看起来是没多大问题,但是之后在上面跑任务的时候出现了各种各样的配置问题.庆幸有将问题记录下来,可以整理出这篇部署整合篇. 确保集群 ...
- HBase部署与使用
HBase部署与使用 概述 HBase的角色 HMaster 功能: 监控RegionServer 处理RegionServer故障转移 处理元数据的变更 处理region的分配或移除 在空闲时间进行 ...
- Zookeeper + Hadoop + Hbase部署备忘
网上类似的文章很多,本文只是记录下来备忘.本文分四大步骤: 准备工作.安装zookeeper.安装hadoop.安装hbase,下面分别详细介绍: 一 准备工作 1. 下载 zookeeper.had ...
- 001.hadoop及hbase部署
一 环境准备 1.1 相关环境 系统:CentOS 7 #CentOS 6.x系列也可参考,转换相关命令即可. hadoop包:hadoop-2.7.0.tar.gz #下载官方地址:http://w ...
- hbase 部署
hbase的部署相对于java来说就比较简单啦,主要过程如下: 1.下载hbase最新的稳定版 2.拷贝到相应的目录 3.修改conf目录下的hbase-env.sh,设置java 和不适用内置的zo ...
- hbase部署经验与坑总结
1.本地单机部署hbase,想要使用独立zookeeper,不使用自带的 vim conf/hbase-env.sh export HBASE_MANAGES_ZK=false 设置不使用自带zook ...
- hbase部署
Hbase: 更细的操作和原理研究笔记和视频 cloudera Hbase:https://sysit.cn/blog/post/sysit/cloudera%E5%AE%89%E8%A3%85HBA ...
- Hadoop及Hbase部署
原文转自:https://www.cnblogs.com/itzgr/p/10233932.html作者:木二 目录 一 环境准备 1.1 相关环境 1.2 网络环境 二 基础环境配置 2.1 配置相 ...
随机推荐
- 小数运算需要注意什么？ 接口和抽象类 WinForm窗体上两个panel，怎么实现一个panel固定漂浮在另一个panel之上
小数运算需要注意什么? 1. 生活中0.1+0.2=0.3, 计算机中可不是这样,为什么呢? 大家都知道计算机类型都是有数据范围的.整形int范围是 正负21亿左右,小数类型同样也是有范围的,但是即使 ...
- Python+Selenium框架unittest执行脚本方法之discover()方法
继续接着介绍,如何利用unittest管理和执行测试用例的问题,这里我们还是利用之前已经有的三条测试用例,如果你跳过了前面文章,请回到框架设计篇的第八篇和第七篇,里面有相关测试类的文件.本文来介绍,如 ...
- nice命令兼容性分析实例
背景 产品实验室出现一例日志转储问题,经定位发现当前版本号没有提供nice命令,而cron拉起定时任务时,却调用了nice命令,对定时任务做优先级调整. 毫无疑问兴许版本号须要提供nice命令,可是是 ...
- 谈谈 T 型人才
谈谈 T 型人才 昨天的图片发模糊了,正好我把这个话题展开聊一聊吧.这个话题是关于复合型人才的,我把它称作 T 型人才. 「全栈」工程师 前一段时间,「全栈」工程师的概念很火,不过大多数时候,「全 ...
- html的dtd声明
其实DOCTYPE声明,因为很多时候团队里没有做规范应该用哪个,而且几种不同的编辑工具新建出的html页面标准也不同:这就可能一个jsp页面写了几百行甚至上千行了,然后发现某个样式必须要改DOCTYP ...
- iOS 优化方案浅析
本文转载至 http://mobile.51cto.com/iphone-413256.htm Windows独特的注册表机制以及复杂的进程.内存管理,给了很多PC“优化”类软件极大的机遇,比如奇虎3 ...
- 2016/7/7 设置wamp2.5 mysql密码 重点是mysql版本
密码设置时要注意mysql版本.版本不同,效果不同. 方法/步骤 安装好wamp后,右击wamp->MySQl->MySql console(控制台) 提示输入密码,因为密码为 ...
- EasyDarwin开源流媒体服务器将select改为epoll的方法
本文来自EasyDarwin团队Fantasy(fantasy(at)easydarwin.org) 一. EasyDarwin网络模型介绍 EventContext负责监听所有网络读写事件,Even ...
- 将本地项目上传到git远程库（初始化）
准备条件: 首先,有一个远程仓库地址,本文中的地址为“http://git.xxxxxxxx.net.cn/jacun/imagegrap.git”; 第一步:在本地创建初始化仓库: git init ...
- java XML-RPC
1.XML-RPC简介 xml rpc是使用http协议做为传输协议的rpc机制,使用xml文本的方式传输命令和数据.一个rpc系统,必然包括2个部分:1.rpc client,用来向rpc serv ...