Hbase集群安装Version1.1.5
Hbase集群安装,基于版本1.1.5,
使用hbase-1.1.5.tar.gz安装包。
1.安装说明
使用外部Zookeeper集群而非Hbase自带zookeeper,
使用Hadoop文件系统存储数据。
2.安装规划
| 角色规划 | IP/机器名 | 安装软件 | 运行进程 |
|---|---|---|---|
| hmaster | zdh-7 | hbase | HMaster |
| regionServer | zdh-9 | hbase | HRegionServer |
| regionServer | zdh-11 | hbase | HRegionServer |
3.安装用户
hbase/zdh1234
4.配置hosts
10.43.159.7 zdh-7
10.43.159.9 zdh-9
10.43.159.11 zdh-11
5.安装依赖
5.1.JDK配置
export JAVA_HOME=/usr/java/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
5.2.Hadoop集群
hdfs://gagcluster
NameNode1:hdfs://10.43.159.7:9000
NameNode2:hdfs://10.43.159.9:9000
5.3.Zookeeper集群
zdh-7:2181,zdh-9:2181,zdh-11:2181
6.创建用户并且设置免密登陆
在zdh-7,9,11集群上面创建hbase用户,并且配置集群里面用户之间可以免密登陆
分别在需要部署hbase的节点上使用root创建用户
useradd -g hadoop -s /bin/bash -md /home/hbase hbase
zdh-7,zdh-9,zdh-11的hbase用户家目录下面生成ssh公私钥文件
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
分别在zdh-7,zdh-9,zdh-11上面执行
ssh-copy-id -i ~/.ssh/id_dsa.pub hbase@zdh-7
交互(yes/no)需要输入yes,提示输入密码需要输入hdfs@zdh-7的密码。
分别在zdh-7,zdh-9,zdh-11上面验证,执行
ssh hbase@zdh-7
ssh hbase@zdh-9
ssh hbase@zdh-11
设置成功则不需要输入密码
再把zdh-7上面的.ssh/authorized_keys文件拷贝到其他机器:
scp hbase@zdh-7:~/.ssh/authorized_keys .
如果只在zdh-7上面验证,而没有在zdh-9,zdh-11验证,可以
再把zdh-7上面的.ssh/known_hosts文件拷贝到其他机器:
scp hbase@zdh-7:~/.ssh/known_hosts .
7.获取并且解压安装包
登陆hbase并且进入家目录,上传安装包并且解压
tar -zxvf hbase-1.1.5-bin.tar.gz
8.配置环境变量
安装并且配置JDK
export JAVA_HOME=/usr/java/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
配置Hbase环境变量和别名,方便操作
export HBASE_HOME=/home/hbasesingle/hbase-1.1.5
export PATH=$PATH:$HBASE_HOME/bin
alias conf='cd $HBASE_HOME/conf'
alias logs='cd $HBASE_HOME/logs'
9.修改hbase-env.sh的配置项
export JAVA_HOME=/usr/java/jdk1.7.0_80
export HBASE_MANAGES_ZK=false
说明:配置JAVA_HOME后,可以不用在hbase用户下面再设置JAVA_HOME环境变量,
HBASE_MANAGES_ZK为fasle表示不使用hbase内置的zookeeper。
10.修改regionservers的配置项
zdh-9
zdh-11
表示在这两个主机上面运行regionservers。
11.修改hbase-site.xml的配置项
11.1
配置Hbase依赖的Hdfs文件系统
配置zookeeper集群和端口,以及本地缓存的位置
<property>
<name>hbase.rootdir</name>
<value>hdfs://gagcluster/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>zdh-7,zdh-9,zdh-11</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/hbase/hbase-1.1.5/data/zk</value>
</property>
11.2
配置hmaster的web管理页面,从而可以使用浏览器访问:
http://10.43.159.7:60010
<property>
<name>hbase.master.info.bindAddress</name>
<value>zdh-7</value>
<description>HBase Master Web UI0.0.0.0</description>
</property>
<property>
<name>hbase.master.info.port</name>
<value>60010</value>
<description>HBase Master Web UIWeb UI</description>
</property>
11.3
把hadoop的配置文件core-site.xml和hdfs-site.xml拷贝到hbase的conf目录下
12.把zdh-7上面配置好的hbase拷贝到集群其他机器
scp -r hbase@zdh-7:/home/hbase/hbase-1.1.5 .
13.启动Hbase集群
在Hmaster机器zdh-7上面启动集群,使用如下命令:
start-hbase.sh
停止集群:
stop-hbase.sh
脚本会自动把集群的其他机器启动或者停止,
注意执行启动脚本机器会自动成为Hmaster。
14.启用Hbase的HA高可用模式
第二个以上Hmaster需要单独启动,
在某个regionserver上启动Hmaster即可:
hbase-daemon.sh start master
15.用shell连接HBase
./bin/hbase shell
退出shell连接
exit
help查看帮助命令
16.执行测试命令
请参考下文的第10节:
Hbase单点安装Version1.1.5
Hbase集群安装Version1.1.5的更多相关文章
- hbase单机环境的搭建和完全分布式Hbase集群安装配置
HBase 是一个开源的非关系(NoSQL)的可伸缩性分布式数据库.它是面向列的,并适合于存储超大型松散数据.HBase适合于实时,随机对Big数据进行读写操作的业务环境. @hbase单机环境的搭建 ...
- HBase集群安装部署
0x01 软件环境 OS: CentOS6.5 x64 java: jdk1.8.0_111 hadoop: hadoop-2.5.2 hbase: hbase-0.98.24 0x02 集群概况 I ...
- Storm集群安装Version1.0.1开启Kerberos
Storm集群安装,基于版本1.0.1, 同时开启Kerberos安全认证, 使用apache-storm-1.0.1.tar.gz安装包. 1.安装规划 角色规划 IP/机器名 安装软件 运行进程 ...
- hbase集群安装与部署
1.相关环境 centos7 hadoop2.6.5 zookeeper3.4.9 jdk1.8 hbase1.2.4 本篇文章仅涉及hbase集群的搭建,关于hadoop与zookeeper的相关部 ...
- Hbase 集群安装(Hadoop 2.6.0 hbase0.99.2)
一:说明 该安装是在hadoop集群安装后进行,详情可见上一篇博客虚拟机centos7系统下安装hadoop ha和yarn ha(详细) .其中涉及五台机器,两台master(机器名:master, ...
- HBase学习之路 (二)HBase集群安装
前提 1.HBase 依赖于 HDFS 做底层的数据存储 2.HBase 依赖于 MapReduce 做数据计算 3.HBase 依赖于 ZooKeeper 做服务协调 4.HBase源码是java编 ...
- Apache HBase 集群安装文档
简介: Apache HBase 是一个分布式的.面向列的开源 NoSQL 数据库.具有高性能.高可靠性.可伸缩.面向列.分布式存储的特性. HBase 的数据文件最终落地在 HDFS 之上,所以在 ...
- hbase集群安装和shell操作
1.上传hbase安装包 2.解压 3.配置hbase集群,要修改3个文件(首先zk集群已经安装好了) 注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/ ...
- 1.Hbase集群安装配置(一主三从)
1.HBase安装配置,使用独立zookeeper,shell测试 安装步骤:首先在Master(shizhan2)上安装:前提必须保证hadoop集群和zookeeper集群是可用的 1.上传:用 ...
随机推荐
- entfrm-boot开发平台功能介绍【entfrm开源模块化无代码开发平台】
简介 entfrm开发平台,是一个以模块化为核心的无代码开发平台,是一个集PC和APP快速开发.系统管理.运维监控.开发工具.OAuth2授权.可视化数据源管理与数据构建.API动态生成与统计.工作流 ...
- 【Java多线程】CompletionService
什么是CompletionService? 当我们使用ExecutorService启动多个Callable时,每个Callable返回一个Future,而当我们执行Future的get方法获取结果时 ...
- pipeline脚本管理
目录 一.代码仓库 二.远程拉取 一.代码仓库 1.使用gitlab做pipeline脚本的存储,新建一个仓库 2.新建文件,把代码放进去 脚本名可以按照规律填写,环境_应用名_类型,例如:test_ ...
- hooks中,useState异步问题解决方案
问题描述: 在hooks中,修改状态的是通过useState返回的修改函数实现的.它的功能类似于class组件中的this.setState().而且,这两种方式都是异步的.可是this.setSta ...
- ios导出ipa文件
步骤1:选择运行设备,IOS Device 步骤2:选择Product --- Archive开始编译(注意第一步一定要选IOS Device,否则此步Archive为灰sè无法操作) 步骤3:一段 ...
- [BUUCTF]PWN——[V&N2020 公开赛]warmup
[V&N2020 公开赛]warmup 附件 步骤: 例行检查,64位程序,除了canary,其他保护都开 本地运行一下,看看大概的情况 64位ida载入,从main函数开始看程序 看到程序将 ...
- [BUUCTF]PWN4——pwn1_sctf_2016
[BUUCTF]PWN4--pwn1_sctf_2016 题目网址:https://buuoj.cn/challenges#pwn1_sctf_2016 步骤: 例行检查,32位,开启nx(堆栈不可执 ...
- 利用模块加载回调函数修改PE导入表实现注入
最近整理PE文件相关代码的时候,想到如果能在PE刚刚读进内存的时候再去修改内存PE镜像,那不是比直接对PE文件进行操作隐秘多了么? PE文件在运行时会根据导入表来进行dll库的"动态链接&q ...
- Python小组作业:基于yolov5的口罩佩戴识别
Python老师给了三个小组项目:1.自身专业问题 2.人工智能 3.游戏或者小工具 提前告知了,写游戏不好拿高分,小工具又不能展示自己的水平.大一刚来也没碰到什么专业问题,于是经过讨论,决定了做人工 ...
- AtCoder Beginner Contest 169 题解
AtCoder Beginner Contest 169 题解 这场比赛比较简单,证明我没有咕咕咕的时候到了! A - Multiplication 1 没什么好说的,直接读入两个数输出乘积就好了. ...