一、安装前提

1、HBase 依赖于 HDFS 做底层的数据存储

2、HBase 依赖于 MapReduce 做数据计算

3、HBase 依赖于 ZooKeeper 做服务协调

4、HBase源码是java编写的,安装需要依赖JDK

1、版本选择

打开官方的版本说明http://hbase.apache.org/1.2/book.html

JDK的选择

Hadoop的选择

此处我们的hadoop版本用的的是2.7.6,HBase选择的版本是1.2.6

2、下载安装包

官网下载地址:http://archive.apache.org/dist/hbase/

3、完全分布式部署

默认情况下,HBase以独立模式运行。提供独立模式和伪分布模式都是为了进行小规模测试。

对于生产环境,分布式模式是合适的。在分布式模式下,HBase守护程序的多个实例在群集中的多个服务器上运行。

节点IP  节点名称 Master BackupMaster RegionServer Zookeeper HDFS
192.168.100.21 node21   √   √
192.168.100.22 node22    √
192.168.100.23 node23      √

Zookeeper集群安装参考:CentOS7.5搭建Zookeeper3.4.12集群

Hadoop集群安装参考:CentOS7.5搭建Hadoop2.7.6完全分布式集群

二、HBase的集群安装

安装过程参考官方文档:http://hbase.apache.org/1.2/book.html#standalone_dist

1、上传解压缩

解压 HBase 到指定目录:

[admin@node21 software]$ tar zxvf hbase-1.2.6-bin.tar.gz -C /opt/module/

2、修改配置文件

配置文件在/opt/module/hbase-1.2.6/conf目录下

hbase-env.sh 修改内容:

export JAVA_HOME=/opt/module/jdk1.8
export HBASE_MANAGES_ZK=false

hbase-site.xml 修改内容:

<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://mycluster/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>node21,node22,node23</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/opt/module/zookeeper-3.4.12/Data</value>
</property>
</configuration>

region servers修改内容

node21
node22
node23

在 conf 目录下创建 backup-masters 文件,添加备机名

$ echo node22 > conf/backup-masters

3、软连接Hadoop配置

[admin@node21 ~]$ ln -s /opt/module/hadoop-2.7.6/etc/hadoop/hdfs-site.xml /opt/module/hbase-1.2.6/conf/

4、替换Hbase依赖的Jar

由于 HBase 需要依赖 Hadoop,所以替换 HBase 的 lib 目录下的 jar 包,以解决兼容问题:

1) 删除原有的 jar:

[admin@node21 ~]$ rm -rf /opt/module/hbase-1.2./lib/hadoop-*
[admin@node21 ~]$ rm -rf /opt/module/hbase-1.2./lib/zookeeper-3.4..jar

2) 拷贝新 jar,涉及的 jar 有:

hadoop-annotations-2.7.6.jar  hadoop-mapreduce-client-app-2.7.6.jar     hadoop-mapreduce-client-hs-plugins-2.7.6.jar
hadoop-auth-2.7.6.jar hadoop-mapreduce-client-common-2.7.6.jar hadoop-mapreduce-client-jobclient-2.7.6.jar
hadoop-common-2.7.6.jar hadoop-mapreduce-client-core-2.7.6.jar hadoop-mapreduce-client-shuffle-2.7.6.jar
hadoop-hdfs-2.7.6.jar hadoop-mapreduce-client-hs-2.7.6.jar hadoop-yarn-api-2.7.6.jar
hadoop-yarn-client-2.7.6.jar hadoop-yarn-common-2.7.6.jar hadoop-yarn-server-common-2.7.6.jar
zookeeper-3.4.12.jar

尖叫提示:这些 jar 包的对应版本应替换成你目前使用的 hadoop 版本,具体情况具体分析。

[admin@node21 ~]$ find /opt/module/hadoop-2.7.6/ -name hadoop-annotations*

然后将找到的 jar 包复制到 HBase 的 lib 目录下即可。

5、分发安装包到其他节点

[admin@node21 ~]$ scp -r /opt/module/hbase-1.2./ node22:/opt/module/
[admin@node21 ~]$ scp -r /opt/module/hbase-1.2./ node23:/opt/module/

6、配置环境变量

所有服务器都有进行配置

[admin@node21 ~]$ vi /etc/profile 
#HBase
export HBASE_HOME=/opt/module/hbase-1.2.6
export PATH=$PATH:$HBASE_HOME/bin

使环境变量立即生效

[admin@node21 ~]$ source /etc/profile 

7、同步时间

尖叫提示: HBase 集群对于时间的同步要求的比HDFS严格,如果集群之间的节点时间不同步,会导致 region server 无法启动,抛出ClockOutOfSyncException 异常。所以,集群启动之前千万记住要进行 时间同步,要求相差不要超过 30s.

<property>
<name>hbase.master.maxclockskew</name>
<value>180000</value>
<description>Time difference of regionserver from master</description>
</property>

三、启动HBase集群

严格按照启动顺序进行

1、启动zookeeper集群

每个zookeeper节点都要执行以下命令

[admin@node21 ~]$ zkServer.sh start

2、启动Hadoop集群

如果需要运行MapReduce程序则启动yarn集群,否则不需要启动

[admin@node21 ~]$ start-dfs.sh
[admin@node22 ~]$ start-yarn.sh

3、启动HBase集群

保证 ZooKeeper 集群和 HDFS 集群启动正常的情况下启动 HBase 集群 启动命令:start-hbase.sh,在哪台节点上执行此命令,哪个节点就是主节点

启动方式 1

[admin@node21 ~]$ start-hbase.sh
starting master, logging to /opt/module/hbase-1.2./logs/hbase-admin-master-node21.out
node23: starting regionserver, logging to /opt/module/hbase-1.2./logs/hbase-admin-regionserver-node23.out
node21: starting regionserver, logging to /opt/module/hbase-1.2./logs/hbase-admin-regionserver-node21.out
node22: starting regionserver, logging to /opt/module/hbase-1.2./logs/hbase-admin-regionserver-node22.out
node22: starting master, logging to /opt/module/hbase-1.2./logs/hbase-admin-master-node22.out

启动方式 2

$ hbase-daemon.sh start master
$ hbase-daemon.sh start regionserver

观看启动日志可以看到:

(1)首先在命令执行节点启动 master

(2)然后分别在 node21,node22,node23 启动 regionserver

(3)然后在 backup-masters 文件中配置的备节点上再启动一个 master 主进程

尖叫提 示: 如果使用的是 JDK8 以 上 版 本 , 则 应 在 hbase-evn.sh 中 移除 “HBASE_MASTER_OPTS”和“HBASE_REGIONSERVER_OPTS”配置。

4、停止HBase集群

[admin@node21 ~]$ stop-hbase.sh 

四、验证启动是否正常

1、检查各进程是否启动正常

主节点和备用节点都启动 hmaster 进程,各从节点都启动 hregionserver 进程,按照对应的配置信息各个节点应该要启动的进程如下所示

2、通过访问浏览器页面查看

WebUI地址查看:http://node21:16010/master-status

3、验证高可用

干掉node21上的hbase进程,观察备用节点是否启用

[admin@node21 ~]$ kill -9 3414

node21界面访问失败,node22变成主节点

4、手动启动进程

启动HMaster进程,当node21节点上的HMaster进程起来后又会成为备用Master,状态可通过webUI查看。

[admin@node21 ~]$ jps
HRegionServer
NodeManager
DFSZKFailoverController
Jps
DataNode
JournalNode
QuorumPeerMain
[admin@node21 ~]$ hbase-daemon.sh start master
starting master, logging to /opt/module/hbase-1.2./logs/hbase-admin-master-node21.out
[admin@node21 ~]$ jps
HRegionServer
NodeManager
HMaster
Jps
DFSZKFailoverController
DataNode
JournalNode
QuorumPeerMain

启动HRegionServer进程

$ hbase-daemon.sh start regionserver 

HBase(二)CentOS7.5搭建HBase1.2.6HA集群的更多相关文章

  1. Storm(二)CentOS7.5搭建Storm1.2.2集群

    一.Storm的下载 官网下载地址:http://storm.apache.org/downloads.html 这里下载最新的版本storm1.2.2,进入之后选择一个镜像下载 二.Storm伪分布 ...

  2. CentOS7.5搭建spark2.3.1集群

    一 下载安装包 1 官方下载 官方下载地址:http://spark.apache.org/downloads.html 2  安装前提 Java8         安装成功 zookeeper  安 ...

  3. CentOS7.5搭建Solr7.4.0集群服务

    一.Solr集群概念 solr单机版搭建参考: https://www.cnblogs.com/frankdeng/p/9615253.html 1.概念 SolrCloud(solr 云)是Solr ...

  4. centos7 下搭建hadoop2.9 分布式集群

    首先说明,本文记录的是博主搭建的3节点的完全分布式hadoop集群的过程,环境是centos 7,1个nameNode,2个dataNode,如下: 1.首先,创建好3个Centos7的虚拟机,具体的 ...

  5. CentOS7.5搭建ELK6.2.4集群及插件安装

    一 简介 Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎.它允许您快速,近实时地存储,搜索和分析大量数据.它通常用作支持具有复杂搜索功能和需求的应用程序的底层引擎/技术. 下载地址 ...

  6. CentOS7.5搭建ES6.2.4集群与简单测试

    一 简介 Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎.它允许您快速,近实时地存储,搜索和分析大量数据.它通常用作支持具有复杂搜索功能和需求的应用程序的底层引擎/技术. 下载地址 ...

  7. Zookeeper(一)CentOS7.5搭建Zookeeper3.4.12集群与命令行操作

    一. 分布式安装部署 1.0 下载地址 官网首页: https://zookeeper.apache.org/ 下载地址: http://mirror.bit.edu.cn/apache/zookee ...

  8. centos7环境搭建Eureka-Server注册中心集群

    目的:测试和线上使用这套独立的Eureka-Server注册中心集群,目前3台虚拟机集群,后续可直接修改配置文件进行新增或减少集群机器. 系统环境: Centos7x64 java8+(JDK1.8+ ...

  9. 在CentOS7下搭建Hadoop2.9.0集群

    系统环境:CentOS 7 JDK版本:jdk-8u191-linux-x64 MYSQL版本:5.7.26 Hadoop版本:2.9.0 Hive版本:2.3.4 Host Name Ip User ...

随机推荐

  1. .Net Framework4.0 ashx页面报错:检测到有潜在危险的Request.Form值

    前些日子做项目的时候遇到一个问题,在ASP.NET 中使用JQuery的AJAX调用一般处理程序ashx出错,在处理程序中错误提示如下:从客户端(Text="<img alt=&quo ...

  2. table 样式美化

    1. 单像素边框CSS表格 这是一个很常用的表格样式. 源代码: <!-- CSS goes in the document HEAD or added to your external sty ...

  3. ios中iframe的scroll滚动事件替代方法

    在公众号的开发中,遇到ios中iframe的scroll滚动事件失效,在此做下记录. 因为接口获取的数据必须放在iframe中展示,滚动到底部按钮变亮,如图: 代码如下: <!DOCTYPE h ...

  4. bzoj千题计划171:bzoj2456: mode

    http://www.lydsy.com/JudgeOnline/problem.php?id=2456 任意删除序列中两个不同的数,众数仍然是众数 不停的删,剩下的最后的数一定是众数 具体实现: 记 ...

  5. 用pip install升级已安装的包的附加包, 以tabulate包为例

    用pip install升级已安装的附加包, 以tabulate包为例 去pypi官网查看tabulate包的介绍, 发现tabulate 0.7.6才开始支持宽字符的美化打印. 而且还需要安装它的附 ...

  6. 【mybatis笔记】 resultType与resultMap的区别

    序言: 昨天做一个项目,看到很多刚开始用mybatis的同事对于resultType和resultMap的理解与使用含糊不清,这里我试图用最好理解的说法写一写,欢迎大家勘误. 两者异同: 相同点:re ...

  7. Could not parse multipart servlet request; nested exception is java.io.IOException: The temporary upload location

    spring-boot项目,生产环境运行一段时间后,上传图片报错,如下: threw exception [Request processing failed; nested exception is ...

  8. 美轮美奂!9款设计独特的jQuery/CSS3全新应用插件(下拉菜单、动画、图表、导航等)

    今天要为大家分享9款设计非常独特的jQuery/CSS3全新应用插件,插件包含菜单.jQuery焦点图.jQuery表单.jQuery图片特效等.下面大家一起来看看吧. 1.jQuery水晶样式下拉导 ...

  9. 数据库(二)之SQL Server

    什么是SQL SERVER?  Microsoft发布的SQL Server产品是一个典型的关系型数据库管理系统.  功能强大  操作简便  可靠的安全性 SQL Server 2008体系结构  S ...

  10. 微服务深入浅出(7)-- 网关路由Zuul

    Zuul用于构建边界服务,致力于动态路由,过滤,监控,弹性伸缩和安全等方向. 1.Zuul+Ribbon+Eureka结合,可以实现智能路由和负载均衡 2.网关将所有服务的API接口统一聚合统一暴露 ...