Hbase集群安装,基于版本1.1.5,

使用hbase-1.1.5.tar.gz安装包。

1.安装说明

使用外部Zookeeper集群而非Hbase自带zookeeper,

使用Hadoop文件系统存储数据。

2.安装规划

角色规划 IP/机器名 安装软件 运行进程
hmaster zdh-7 hbase HMaster
regionServer zdh-9 hbase HRegionServer
regionServer zdh-11 hbase HRegionServer

3.安装用户

hbase/zdh1234

4.配置hosts

10.43.159.7     zdh-7
10.43.159.9 zdh-9
10.43.159.11 zdh-11

5.安装依赖

5.1.JDK配置

export JAVA_HOME=/usr/java/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

5.2.Hadoop集群

hdfs://gagcluster
NameNode1:hdfs://10.43.159.7:9000
NameNode2:hdfs://10.43.159.9:9000

5.3.Zookeeper集群

zdh-7:2181,zdh-9:2181,zdh-11:2181

6.创建用户并且设置免密登陆

在zdh-7,9,11集群上面创建hbase用户,并且配置集群里面用户之间可以免密登陆

分别在需要部署hbase的节点上使用root创建用户

useradd -g hadoop -s /bin/bash -md /home/hbase hbase

zdh-7,zdh-9,zdh-11的hbase用户家目录下面生成ssh公私钥文件

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

分别在zdh-7,zdh-9,zdh-11上面执行

ssh-copy-id -i ~/.ssh/id_dsa.pub hbase@zdh-7

交互(yes/no)需要输入yes,提示输入密码需要输入hdfs@zdh-7的密码。

分别在zdh-7,zdh-9,zdh-11上面验证,执行

ssh hbase@zdh-7

ssh hbase@zdh-9

ssh hbase@zdh-11

设置成功则不需要输入密码

再把zdh-7上面的.ssh/authorized_keys文件拷贝到其他机器:

scp hbase@zdh-7:~/.ssh/authorized_keys .

如果只在zdh-7上面验证,而没有在zdh-9,zdh-11验证,可以

再把zdh-7上面的.ssh/known_hosts文件拷贝到其他机器:

scp hbase@zdh-7:~/.ssh/known_hosts .

7.获取并且解压安装包

登陆hbase并且进入家目录,上传安装包并且解压

tar -zxvf hbase-1.1.5-bin.tar.gz

8.配置环境变量

安装并且配置JDK

export JAVA_HOME=/usr/java/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

配置Hbase环境变量和别名,方便操作

export HBASE_HOME=/home/hbasesingle/hbase-1.1.5
export PATH=$PATH:$HBASE_HOME/bin
alias conf='cd $HBASE_HOME/conf'
alias logs='cd $HBASE_HOME/logs'

9.修改hbase-env.sh的配置项

export JAVA_HOME=/usr/java/jdk1.7.0_80
export HBASE_MANAGES_ZK=false

说明:配置JAVA_HOME后,可以不用在hbase用户下面再设置JAVA_HOME环境变量,

HBASE_MANAGES_ZK为fasle表示不使用hbase内置的zookeeper。

10.修改regionservers的配置项

zdh-9

zdh-11

表示在这两个主机上面运行regionservers。

11.修改hbase-site.xml的配置项

11.1

配置Hbase依赖的Hdfs文件系统

配置zookeeper集群和端口,以及本地缓存的位置

<property>
<name>hbase.rootdir</name>
<value>hdfs://gagcluster/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>zdh-7,zdh-9,zdh-11</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/hbase/hbase-1.1.5/data/zk</value>
</property>

11.2

配置hmaster的web管理页面,从而可以使用浏览器访问:

http://10.43.159.7:60010

<property>
<name>hbase.master.info.bindAddress</name>
<value>zdh-7</value>
<description>HBase Master Web UI0.0.0.0</description>
</property>
<property>
<name>hbase.master.info.port</name>
<value>60010</value>
<description>HBase Master Web UIWeb UI</description>
</property>

11.3

把hadoop的配置文件core-site.xml和hdfs-site.xml拷贝到hbase的conf目录下

12.把zdh-7上面配置好的hbase拷贝到集群其他机器

scp -r hbase@zdh-7:/home/hbase/hbase-1.1.5 .

13.启动Hbase集群

在Hmaster机器zdh-7上面启动集群,使用如下命令:

start-hbase.sh

停止集群:

stop-hbase.sh

脚本会自动把集群的其他机器启动或者停止,

注意执行启动脚本机器会自动成为Hmaster。

14.启用Hbase的HA高可用模式

第二个以上Hmaster需要单独启动,

在某个regionserver上启动Hmaster即可:

hbase-daemon.sh start master

15.用shell连接HBase

./bin/hbase shell

退出shell连接

exit

help查看帮助命令

16.执行测试命令

请参考下文的第10节:
Hbase单点安装Version1.1.5

Hbase集群安装Version1.1.5的更多相关文章

  1. hbase单机环境的搭建和完全分布式Hbase集群安装配置

    HBase 是一个开源的非关系(NoSQL)的可伸缩性分布式数据库.它是面向列的,并适合于存储超大型松散数据.HBase适合于实时,随机对Big数据进行读写操作的业务环境. @hbase单机环境的搭建 ...

  2. HBase集群安装部署

    0x01 软件环境 OS: CentOS6.5 x64 java: jdk1.8.0_111 hadoop: hadoop-2.5.2 hbase: hbase-0.98.24 0x02 集群概况 I ...

  3. Storm集群安装Version1.0.1开启Kerberos

    Storm集群安装,基于版本1.0.1, 同时开启Kerberos安全认证, 使用apache-storm-1.0.1.tar.gz安装包. 1.安装规划 角色规划 IP/机器名 安装软件 运行进程 ...

  4. hbase集群安装与部署

    1.相关环境 centos7 hadoop2.6.5 zookeeper3.4.9 jdk1.8 hbase1.2.4 本篇文章仅涉及hbase集群的搭建,关于hadoop与zookeeper的相关部 ...

  5. Hbase 集群安装(Hadoop 2.6.0 hbase0.99.2)

    一:说明 该安装是在hadoop集群安装后进行,详情可见上一篇博客虚拟机centos7系统下安装hadoop ha和yarn ha(详细) .其中涉及五台机器,两台master(机器名:master, ...

  6. HBase学习之路 (二)HBase集群安装

    前提 1.HBase 依赖于 HDFS 做底层的数据存储 2.HBase 依赖于 MapReduce 做数据计算 3.HBase 依赖于 ZooKeeper 做服务协调 4.HBase源码是java编 ...

  7. Apache HBase 集群安装文档

    简介: Apache HBase 是一个分布式的.面向列的开源 NoSQL 数据库.具有高性能.高可靠性.可伸缩.面向列.分布式存储的特性. HBase 的数据文件最终落地在 HDFS 之上,所以在 ...

  8. hbase集群安装和shell操作

    1.上传hbase安装包 2.解压 3.配置hbase集群,要修改3个文件(首先zk集群已经安装好了) 注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/ ...

  9. 1.Hbase集群安装配置(一主三从)

     1.HBase安装配置,使用独立zookeeper,shell测试 安装步骤:首先在Master(shizhan2)上安装:前提必须保证hadoop集群和zookeeper集群是可用的 1.上传:用 ...

随机推荐

  1. 格式化代码(Eclipse 格式化代码块快捷键:Ctrl+Shift+F)

    1.格式化java代码 : ①Ctrl+Shift+F 但是我们会遇到按 Ctrl+Shift+F不起作用的时候?       Ctrl+Shift+F 在搜狗拼音里是简繁替换.一旦安装搜狗拼音这个快 ...

  2. 联盛德 HLK-W806 (七): 兼容开发板 LuatOS Air103

    目录 联盛德 HLK-W806 (一): Ubuntu20.04下的开发环境配置, 编译和烧录说明 联盛德 HLK-W806 (二): Win10下的开发环境配置, 编译和烧录说明 联盛德 HLK-W ...

  3. Mysql配置文件 4c8g优化

    目录 一.说明 二.配置 一.说明 以下配置适合4核8G及以下的配置,会让性能稍微提高1/3左右. 测试语句 mysqlslap -uroot -p123456 --concurrency=100 - ...

  4. [源码解析] PyTorch 分布式(18) --- 使用 RPC 的分布式管道并行

    [源码解析] PyTorch 分布式(18) --- 使用 RPC 的分布式管道并行 目录 [源码解析] PyTorch 分布式(18) --- 使用 RPC 的分布式管道并行 0x00 摘要 0x0 ...

  5. java 数据类型:集合接口Collection之List~ArrayList:remove移除;replaceAll改变原有值;sort排序;迭代器listIterator();

    什么是List集合: 特点: 元素有序可重复的集合. 集合中每个元素都有其对应的顺序索引. List集合默认按元素的添加顺序设置元素的索引,索引从0开始.   List接口的常用方法: List可以使 ...

  6. 当通过Struts2传值给后台时,如果是外键,传字符串那么会出现错误

    当通过Struts2传值给后台时,如果是外键,传字符串那么会出现错误 如<input type="text" name="user.department" ...

  7. float浮动的详细总结

    float浮动的详细总结 1.定位方案 在css中,有4种常用的方法对元素进行定位和布局: normal flow:标准流.文档流: position:定位(relative.absolute.fix ...

  8. mybatis注解版in查询、字符串判空模糊匹配 、批量插入、插入返回主键

    IN查询 @Select({"<script> " + " select * "+ " from business_threat bt \ ...

  9. 平衡二叉树判定方法(c++)实现

    !!版权声明:本文为博主原创文章,版权归原文作者和博客园共有,谢绝任何形式的 转载!! 作者:mohist -- 欢迎指正-- 平衡二叉树特点: 任意一个结点的平衡因子(左子树高度 - 右子树高度)的 ...

  10. 【LeetCode】916. Word Subsets 解题报告(Python)

    作者: 负雪明烛 id: fuxuemingzhu 个人博客: http://fuxuemingzhu.cn/ 题目地址: https://leetcode.com/problems/word-sub ...