HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操作+HBase架构体系
HBase1.2.2伪分布式安装(HDFS)+ZooKeeper-3.4.8安装配置+HBase表和数据操作+HBase的架构体系+单例安装,记录了在Ubuntu下对HBase1.2.2的实践操作,HBase的安装到数据库表的操作.包含内容1.HBase单例安装2.HBase伪分布式安装(基于Hadoop的HDFS)过程,3.HBase的shell编程,对HBase表的创建,删除等的命令,HBase对数据的增删查等操作.4.简单概述了Hbase的架构体系.5.zookeeper的单例安装和常用操作.
1.HBase单例安装
1.1下载
1.2.解压并放置特定路径如 /opt
wxl@wxl-pc:~/Downloads$ sudo mv hbase /opt/
1.3.设置JAVA_HOME 环境变量
(注意,如果本机已经设置好JAVA_HOME系统变量则此不步骤不是必须的)进入到hbase路径下
/opt/hbase
wxl@wxl-pc:/opt/hbase$ vim conf/hbase-env.sh
#增加JAVA_HOME路径,根据自己jdk安装位稍有不同
export JAVA_HOME=/opt/java/
1.4.编辑conf/hbase-site.xml
HBase默认存储在/tmp路径下,可是每次机器重启,/tmp下的数据会被清除,所以首席那应该更改存储路径,如存在/home/wxl 路径下,并且会创建新的hbase文件夹(如果没有安装zookeeper,没关系,不影响在开发和测试环境下的HBase使用)
wxl@wxl-pc:/opt/hbase$ vim conf/hbase-site.xml
<configuration>
<property>
<name>hbase.rootdir</name>
<value>file:///home/wxl/hbase</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/wxl/zookeeper</value>
</property>
</configuration>
1.5.启动HBase
wxl@wxl-pc:/opt/hbase$ bin/start-hbase.sh
2.HBase的shell命令操作
2.1连接HBase shell
wxl@wxl-pc:/opt/hbase$ ./bin/hbase shell
可以通过输入help
命令,来大致了解可以输入命令和Hbase存储的数据结构
2.2.创建表
必须输入表名和列族名(ColumnFamily name)
hbase(main):002:0> create 'test','cf'
2.3.查看表
hbase(main):003:0> list 'test'
TABLE
test
1 row(s) in 0.0320 seconds
=> ["test"]
2.4.给表赋值
hbase(main):004:0> put 'test', 'wangxiaolei', 'cf:a', 'wov@outlook.com'
0 row(s) in 0.2010 seconds
hbase(main):005:0> put 'test', '王小雷','cf:b;','bio get it done'
0 row(s) in 0.0120 seconds
hbase(main):006:0> put 'test', 'row3', 'cf:c', 'value3'
0 row(s) in 0.0240 seconds
2.5.对列表计数
使用scan关键字
2.6.查询列表中某行
如查询第二行,输入
hbase(main):009:0> get 'test','王小雷'
2.7.更改表(删除,修改表)
在更改表之前需要将表的状态更改为disable
,在更改完之后可以enable
hbase(main):009:0> disable 'test'
0 row(s) in 2.5870 seconds
hbase(main):010:0> enable 'test'
0 row(s) in 1.2680 seconds
hbase(main):011:0> disable 'test'
0 row(s) in 2.2370 seconds
在test表为 disable 状态下,删除test表
hbase(main):012:0> drop 'test'
0 row(s) in 1.2590 seconds
2.8.退出shell并停止HBase
在shell中使用quit命令(或者exit),可以退出hbase shell,但是hbase仍在运行
输入jps
可以查看HMaseter守护程序还在
使用stop-hbase.sh退出hbase
wxl@wxl-pc:/opt/hbase$ ./bin/stop-hbase.sh
stopping hbase.......
3.HBase伪分布式安装
如果没有安装Hadoop请安装伪分布式的Hadoop教程如下Ubuntu16.04安装Hadoop2.6+Spark1.6+开发实例
首先停止2HBase(2.8.退出shell并停止HBase)
3.1.配置伪分布式的hbase-site.xml文件
设置distributed为true,是为了让jvm模拟集群,再者是修改数据保存路径,放置到HDFS上,配置rootdir,其中hdfs://localhost:9000根据自己hadoop配置指定(也可能是hdfs://localhost:8020/hbase)(但是可以不配至,HBase会自动寻找HDFS路径)
<configuration>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:9000/hbase</value>
</property>
3.2.启动HBase
wxl@wxl-pc:/opt/hbase$ ./bin/start-hbase.sh
3.3.在HDFS上查看HBase文件
wxl@wxl-pc:/opt/hbase$ hadoop fs -ls /hbase
3.4.HBase上的数据操作,创建表,赋值,删除表等见步骤1.2-1.5
4.HBase的HRegionServer和HMaster及架构体系图
4.1此时使用jps(我开启来hadoop,spark,hbase)
可见,HBase的HRegionServer和HMaster已经开启.
wxl@wxl-pc:/opt/hbase$ jps
18065 Master
17795 NodeManager
19379 HRegionServer
17331 DataNode
17669 ResourceManager
17511 SecondaryNameNode
19255 HMaster
19991 Jps
17177 NameNode
19181 HQuorumPeer
18206 Worker
18607 SparkSubmit
4.2.关于HBase的HRegionServer和HMaster是什么,什么样的体系结构,如下图.
5.1 ZooKeeper-3.4.8安装+常用操作实践
版本ZooKeeper-3.4.8 系统Ubuntu16.04
5.1.创建conf/zoo.cfg
wxl@wxl-pc:/opt/zookeeper$ cp conf/zoo_sample.cfg conf/zoo.cfg
查看zookeeper配置信息
(注意此处为了测试所以dataDir=/tmp/zookeeper,这里每次重启计算机数据就会丢失,如果保留可以放入其他路径,如/home/wxl/zookeeper)
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/tmp/zookeeper
clientPort=2181
其中,
- tickTime
- tickTime是ZooKeeper的毫秒级计量单位,表示正常的会话时间,如果超过设置值的两倍就会连接超时.
- dataDir
- 设置HBase的路径用于保存内存数据快照和更新数据库事务的日志.
- clientPort
- 设置监听连接客户端的接口
5.2. 执行zookeeper
开启zookeeper
wxl@wxl-pc:/opt/zookeeper$ bin/zkServer.sh start
连接zookeeper
wxl@wxl-pc:/opt/zookeeper$ bin/zkCli.sh -server 127.0.0.1:2181
5.3. zookeeper基本命令
[zk: 127.0.0.1:2181(CONNECTED) 0] help
ZooKeeper -server host:port cmd args
stat path [watch]
set path data [version]
ls path [watch]
delquota [-n|-b] path
ls2 path [watch]
setAcl path acl
setquota -n|-b val path
history
redo cmdno
printwatches on|off
delete path [version]
sync path
listquota path
rmr path
get path [watch]
create [-s] [-e] path data acl
addauth scheme auth
quit
getAcl path
close
connect host:port
5.3.1. ls查看路径下有那些文件(在zoo.cfg设置的的参数datadir)
查看
#如果没安装HBase此处只显示zookeeper
[zk: 127.0.0.1:2181(CONNECTED) 1] ls /
5.3.2.HBase创建Znode为zk_test_wangxiaolei
[zk: 127.0.0.1:2181(CONNECTED) 2] create /zk_test_wangxiaolei my_data
5.3.3.验证(查看)zk_test_wangxiaolei节点下数据
[zk: 127.0.0.1:2181(CONNECTED) 3] get /zk_test_wangxiaolei
my_data
cZxid = 0x66
ctime = Mon Aug 01 22:06:36 CST 2016
mZxid = 0x66
mtime = Mon Aug 01 22:06:36 CST 2016
pZxid = 0x66
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 7
numChildren = 0
5.3.4.set命令来改变某(如zk_test_wangxiaolei)节点下的数据
[zk: 127.0.0.1:2181(CONNECTED) 4] set /zk_test_wangxiaolei junk
cZxid = 0x66
ctime = Mon Aug 01 22:06:36 CST 2016
mZxid = 0x69
mtime = Mon Aug 01 22:29:46 CST 2016
pZxid = 0x66
cversion = 0
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 4
numChildren = 0
再次get节点zk_test_wangxiaolei可以看到数据已经改变
5.3.5.最后删除测试节点
[zk: 127.0.0.1:2181(CONNECTED) 5] delete /zk_test_wangxiaolei
[zk: 127.0.0.1:2181(CONNECTED) 6] ls /
[zookeeper, hbase]
[zk: 127.0.0.1:2181(CONNECTED) 7]
HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操作+HBase架构体系的更多相关文章
- Hbase伪分布式安装
前面的文章已经讲过hadoop伪分布式安装,这里直接介绍hbase伪分布式安装. 1. 下载hbase 版本hbase 1.2.6 2. 解压hbase 3. 修改hbase-env.sh 新增如下内 ...
- hbase伪分布式安装(单节点安装)
hbase伪分布式安装(单节点安装) http://hbase.apache.org/book.html#quickstart 1. 前提配置好java,环境java变量 上传jdk ...
- hbase伪分布式平台搭建(centos 6.3)
搭建完<hadoop伪分布式平台>后就开始搭建hbase伪分布式平台了.有了hadoop环境,搭建hbase就变得很容易了. 一.Hbase安装 1.从官网下载最新版本Hbase安装包1. ...
- hbase伪分布式环境的搭建
一,实验环境: 1, ubuntu server 16.04 2, jdk,1.8 3, hadoop 2.7.4 伪分布式环境或者集群模式 4, hbase-1.2.6.tar.gz 二,环境的搭建 ...
- hadoop+zookeeper+hbase伪分布式安装
基本安装步骤 安装包下载 从大数据组件下载地址下载以下组件安装包 hadoop-2.6.0-cdh5.6.0.tar.gz hbase-1.0.0-cdh5.6.0.tar.gz zookeeper- ...
- Ubuntu16.04下伪分布式环境搭建之hadoop、jdk、Hbase、phoenix的安装与配置
一.准备工作 安装包链接: https://pan.baidu.com/s/1i6oNmOd 密码: i6nc 环境准备 修改hostname: $ sudo vi /etc/hostname why ...
- HBase伪分布式安装及简单使用
HBase是Hadoop的数据库,基于Hadoop执行.是一种NoSQL数据库. 特点:分布式.多版本号.面向列的存储模型.可以大规模的数据实时随机读写,可直接使用本地文件系统. 不适合:与关系型数据 ...
- hbase伪分布式安装以及实例演示
参考指路:https://www.cnblogs.com/wang-jx/p/9672072.html (包含实例演示,这里就不copy人家的心血了) 1.下载对应安装包解压 1.1下载 同样建议选择 ...
- hbase伪分布式安装(转)
原文地址:http://blog.csdn.net/yonghutwo/article/details/24555103 本机环境: ubuntu 12.4 Hadoop 1.1.2 安装hbase版 ...
随机推荐
- 2.1、Softmax Regression模型
Softmax Regression模型 由于Logistics Regression算法复杂度低,容易实现等特点,在工业中的到广泛的使用,但是Logistics Regression算法主要用于处理 ...
- AForge.net 录像拍照功能实现 转
AForge.net 使用之录像拍照功能实现 最近使用aforge.NET拍照录像功能实现 记录一下以便以后好学习,哈哈,直接上代码 连接摄像头设备,这里需要引入 AForge.Video; AFor ...
- ansible基本模块-copy
ansible XXX -m copy -a “src=XXX dest=XXX owner=root group=root mode=0755”
- json语法和使用
一.JSON 概述: JavaScript Object Natation,是一种轻量级的数据交换技术规范. 二.使用流程: 在服务端将java对象转换为JSON,然后发送到浏览器,在浏览器上在讲JS ...
- [转] 在body中没有元素把高度撑开的情况下,设置全屏
[From] https://segmentfault.com/q/1010000006182839 html,body { margin:; padding:; min-height: 100vh; ...
- win10 安装MySQL8.0.11记录。
参考了博客A:https://blog.csdn.net/m0_37788308/article/details/79965378 博客B:https://blog.csdn.net/fxbin123 ...
- python附录-builtins.py模块str类源码(含str官方文档链接)
python附录-builtins.py模块str类源码 str官方文档链接:https://docs.python.org/3/library/stdtypes.html#text-sequence ...
- (转)数位dp
原博客 https://blog.csdn.net/wust_zzwh/article/details/52100392 建议原博客看到hdu 不要62,然后看我分割线后两道题,然后再回来看原博.-- ...
- 使用类和对象、方法、循环、List、泛型来实现简单的图书管理系统
Book.java import java.util.List; import java.util.Scanner; public class Book { private String name; ...
- get 与 post 区别
Http定义了与服务器交互的不同方法,最基本的方法有4种,分别是GET,POST,PUT,DELETE.URL全称是资源描述符,我们可以这样认为:一个URL地址,它用于描述一个网络上的资源,而HTTP ...