此笔记仅用于作者记录复习使用,如有错误地方欢迎留言指正,作者感激不尽,如有转载请指明出处

Hbase环境搭建

hadoop为HA的Hbase配置

Zookeeper集群的正常部署并启动

$ /usr/local/src/zookeeper-3.4.5-cdh5.3.6/bin/zkServer.sh start

Hadoop集群的正常部署并启动

$ /usr/local/src/hadoop-2.5.0-cdh5.3.6/sbin/start-dfs.sh

$ /usr/local/src/hadoop-2.5.0-cdh5.3.6/sbin/start-yarn.sh

解压HBase

$ tar -zxf /opt/cdh/hbase-0.98.6-cdh5.3.6.tar.gz -C /usr/local/src/

修改HBase配置文件

  • 修改hbase-env.sh文件

export JAVA_HOME=/usr/local/src/jdk1.8.0_121/

export HBASE_MANAGES_ZK=false

  • 修改hbase-site.xml文件
    <!--指定hbase的根目录,mycluster:高可用hdfs名称-->
<property>
<name>hbase.rootdir</name>
<value>hdfs://mycluster/hbase</value>
</property> <!--是否运行在完全分布式中-->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property> <!---高可用集群中只配置端口号就行,如果是单节点,则指明机器名-->
<property>
<name>hbase.master</name>
<value>60000</value>
</property> <property>
<name>hbase.zookeeper.quorum</name>
<value>master:2181,slave1:2181,slave2:2181</value>
</property> <property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/usr/local/src/zookeeper-3.4.5-cdh5.3.6/dataDir</value>
</property>
  • 修改regionservers文件

    master

    slave1

    slave2

替换HBase根目录下的lib目录下的jar包,以解决兼容问题

  • 删除原有Jar包以及zookeeper的jar包

    $ rm -rf /usr/local/src/hbase-0.98.6-cdh5.3.6/lib/hadoop-*

    $ rm -rf lib/zookeeper-3.4.6.jar

  • 拷贝新的Jar包

    这里涉及到的jar包大概是:

    hadoop-annotations-2.5.0.jar

    hadoop-auth-2.5.0-cdh5.3.6.jar

    hadoop-client-2.5.0-cdh5.3.6.jar

    hadoop-common-2.5.0-cdh5.3.6.jar

    hadoop-hdfs-2.5.0-cdh5.3.6.jar

    hadoop-mapreduce-client-app-2.5.0-cdh5.3.6.jar

    hadoop-mapreduce-client-common-2.5.0-cdh5.3.6.jar

    hadoop-mapreduce-client-core-2.5.0-cdh5.3.6.jar

    hadoop-mapreduce-client-hs-2.5.0-cdh5.3.6.jar

    hadoop-mapreduce-client-hs-plugins-2.5.0-cdh5.3.6.jar

    hadoop-mapreduce-client-jobclient-2.5.0-cdh5.3.6.jar

    hadoop-mapreduce-client-jobclient-2.5.0-cdh5.3.6-tests.jar

    hadoop-mapreduce-client-shuffle-2.5.0-cdh5.3.6.jar

    hadoop-yarn-api-2.5.0-cdh5.3.6.jar

    hadoop-yarn-applications-distributedshell-2.5.0-cdh5.3.6.jar

    hadoop-yarn-applications-unmanaged-am-launcher-2.5.0-cdh5.3.6.jar

    hadoop-yarn-client-2.5.0-cdh5.3.6.jar

    hadoop-yarn-common-2.5.0-cdh5.3.6.jar

    hadoop-yarn-server-applicationhistoryservice-2.5.0-cdh5.3.6.jar

    hadoop-yarn-server-common-2.5.0-cdh5.3.6.jar

    hadoop-yarn-server-nodemanager-2.5.0-cdh5.3.6.jar

    hadoop-yarn-server-resourcemanager-2.5.0-cdh5.3.6.jar

    hadoop-yarn-server-tests-2.5.0-cdh5.3.6.jar

    hadoop-yarn-server-web-proxy-2.5.0-cdh5.3.6.jar

    zookeeper-3.4.5-cdh5.3.6.jar

将Hadoop配置文件软连接到HBase的conf目录下

$ ln -s /usr/local/src/hadoop-2.5.0-cdh5.3.6/etc/hadoop/core-site.xml /usr/local/src/hbase-0.98.6-cdh5.3.6/conf/core-site.xml

$ ln -s /usr/local/src/hadoop-2.5.0-cdh5.3.6/etc/hadoop/hdfs-site.xml /usr/local/src/hbase-0.98.6-cdh5.3.6/conf/hdfs-site.xml

将整理好的HBase安装目录scp到其他机器节点

启动服务

$ bin/hbase-daemon.sh start master

$ bin/hbase-daemon.sh start regionserver

或者:

$ bin/start-hbase.sh

对应的停止命令:

$ bin/stop-hbase.sh

查看页面验证是否启动成功

http://192.168.159.30:60010

HMaster的高可用

  • 确保HBase集群已正常停止

    $ bin/stop-hbase.sh

  • 在conf目录下创建backup-masters文件

    $ touch conf/backup-masters

  • 在backup-masters文件中配置高可用HMaster节点

    $ echo slave1 > conf/backup-masters

  • 拷贝到其他节点的机器

  • 打开页面测试

    测试http://master:60010

  • 尝试关闭第一台机器的HMaster

    $ bin/hbase-daemon.sh stop master

    然后查看第二台的HMaster是否会直接启用

【Hbase二】环境搭建的更多相关文章

  1. 从零开始学Xamarin.Forms(二) 环境搭建、创建项目

    原文:从零开始学Xamarin.Forms(二) 环境搭建.创建项目 一.环境搭建 Windows下环境搭建:     1.下载并安装jdk.Android SDK和NDK,当然还需要 VS2013 ...

  2. HBase单机环境搭建

    在搭建HBase单机环境之前,首先你要保证你已经搭建好Java环境: $ java -version java version "1.8.0_51" Java(TM) SE Run ...

  3. hadoop2.6.2+hbase+zookeeper环境搭建

    1.hadoop环境搭建,版本:2.6.2,参考:http://www.cnblogs.com/bookwed/p/5251393.html 启动服务:在master机器上,进入hadoop安装目录, ...

  4. 从零開始学Xamarin.Forms(二) 环境搭建、创建项目

    一.环境搭建 Windows下环境搭建:     1.下载并安装jdk.Android SDK和NDK.当然还须要 VS2013 update 2(VS2010.VS2012均可)以上. a.  最新 ...

  5. 使用 robotframework 自动化测试系列 二 -----环境搭建

    环境搭建是测试人员基础,本质都是不难的,按照流程和步骤一步步做,遇到问题不要担心,解决的问题越多,你理解的也就越多. 1. 安装python环境,python现在有python2 和python3.由 ...

  6. HBase 开发环境搭建(Eclipse\MyEclipse + Maven)

    写在前面的话 首先, 搭建基于MyEclipse的Hadoop开发环境 相信,能看此博客的朋友,想必是有一定基础的了.我前期写了大量的基础性博文.可以去补下基础. 比如, CentOS图形界面下如何安 ...

  7. HBase —— 单机环境搭建

    一.安装前置条件说明 1.1 JDK版本说明 HBase 需要依赖JDK环境,同时HBase 2.0+ 以上版本不再支持JDK 1.7 ,需要安装JDK 1.8+ .JDK 安装方式见本仓库: Lin ...

  8. HBase 学习之路(三)—— HBase基本环境搭建

    一.安装前置条件说明 1.1 JDK版本说明 HBase 需要依赖JDK环境,同时HBase 2.0+ 以上版本不再支持JDK 1.7 ,需要安装JDK 1.8+ .JDK 安装方式见本仓库: Lin ...

  9. HBase 系列(三)—— HBase 基本环境搭建

    一.安装前置条件说明 1.1 JDK版本说明 HBase 需要依赖 JDK 环境,同时 HBase 2.0+ 以上版本不再支持 JDK 1.7 ,需要安装 JDK 1.8+ .JDK 安装方式见本仓库 ...

  10. java selenium (二) 环境搭建方法一

    webdriver 就是selenium 2.    webdriver 是一款优秀的,开源的,自动化测试框架. 支持很多语言.  本文描述的是用java Eclipse 如何搭建环境 阅读目录   ...

随机推荐

  1. Recsys2018 music recomendation

    http://www.recsyschallenge.com/2018/ January 2018 Release of the "One Million Playlists" d ...

  2. Siebel Tools client安装假死在92%问题解决

    Solution to this error: This issue happens incase of installation is on unsupported operating system ...

  3. 15分钟完成基于Azure公有云搭建远程测试环境

  4. win7 下vs2008试用版破解

    用过微软的开发套件Visual Studio 2008,如果用的是试用版本,超过90天,就会过期,出现下面这张图片显示的 下面介绍破解的步骤: 1.首先打开控制面板——然后找到卸载或更改程序——然后找 ...

  5. django模型详解(四)

    1 概述 (1)概述 : Django对各种数据库提供了很好的支持,Django为这些数据库提供了统一的调用API,根据不同的业务需求选择不同的数据库 (2)定义模型 模型,属性,表,字段间的关系 一 ...

  6. day008-File文件

    1. File 文件和目录路径名的抽象表示形式. 一个File类对象就代表了一个文件或文件夹. 1.1 File类的作用 用来操作硬盘上的文件或文件夹 绝对路径:一般是以盘符开始的,比如:C:/Jav ...

  7. 增加C盘空间大小

    随着我们使用电脑的时间越来越久,电脑C盘的空间会出现不够用的情况,这时我们需要的就是增加C盘的大小,基本上有两种方式 1.通过系统自带的磁盘管理(有可能没法操作,主要介绍第二种) 2.通过分区软件进行 ...

  8. 【java开发系列】—— 嵌套类与内部类

    嵌套类与内部类在java中使用的很广泛,为了避免难以理解,这里用了几个小例子,说明它的用法. 嵌套类与内部类的结构如下图 静态嵌套类 静态嵌套类,是一种在类之外声明的嵌套类,由于是静态的,所以不经过初 ...

  9. 为什么使用中间件下载时总是收到警告消息Object is in status Wait

    在使用中间件从ERP下载对象时,正常情况下应该看到如下提示消息: 然而有时遇到的是黄色的警告消息:Object is in status Wait. 如何自己排错呢?在函数SMOF0_INIT_DNL ...

  10. Softmax vs. Softmax-Loss: Numerical Stability

    http://freemind.pluskid.org/machine-learning/softmax-vs-softmax-loss-numerical-stability/ softmax 在 ...