hbase-0.98.1-cdh5.1.0 完全分布式搭建
cdh版与0.98版的配置一样
1.环境
master:c1
slave:c2,c3
CentOS 6.5 x64 ,hadoop-2.3.0-cdh5.1.0,zookeeper-3.4.5-cdh5.1.0
下载地址:
http://archive.cloudera.com/cdh5/cdh/5/
2. 前提条件
安装好hadoop集群,zookeeper集群
3. 环境变量配置
export HBASE_HOME=/usr/local/cdh/hbase
export PATH=$PATH:$HADOOP_HOME/bin:$HBASE_HOME/bin:$ZOOKEEPER_HOME/bin
4. 配置hbase-env.sh
在$HBASE_HOME/conf/hbase-env.sh
添加
export JAVA_HOME=/usr/local/java/jdk1.7.0_67
export HBASE_CLASSPATH=/usr/local/cdh/hadoop/etc/hadoop
export HBASE_MANAGES_ZK=false
5. 配置 hbase-site.xml
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://c1:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>c1,c2,c3</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/usr/local/cdh/zookeeper/data/</value>
</property>
<property>
<name>hbase.master</name>
<value>hdfs://c1:60000</value>
</property>
</configuration>
以上配置简单解释:
hbase.rootdir :Hbase数据存储目录(HDFS中目录)
hbase.cluster.distributed :指定Hbase是否运行在分布式模式
hbase.zookeeper.property.dataDir :Zookeeper写数据目录(与ZooKeeper集群上配置相一致)
hbase.zookeeper.quorun :指定Hbase在每个节点上开启和管理一个Zookeeper instance,即指定ZooKeeper集群位置
hbase.master :指定Hbase的master的位置
6.配置regionservers
regionservers文件列出了所有运行Hbase RegionServer CHRegion Server的机器。此文件的配置和Hadoop的slaves文件十分类似,每一行指定一台机器。当Hbase的时候,会将此文件中列出的所有机器启动;同样,当Hbase关闭的时候,也会同时自动读取文件并将所有机器关闭。
删除localhost,添加
c1
c2
c3
7.新建 $HBASE_HOME/conf/backup-masters
c2
8. 其它节点做一样的配置
scp -r hbase-0.98.4-hadoop2 c2:~/
scp -r hbase-0.98.4-hadoop2 c3:~/
9.启动及查看进程
1、启动
Hbase的启动顺序为: HDFS -> ZooKeeper -> Hbase
master节点:
在$HADOOP_HOME目录下启动Hadoop集群
sbin/start-all.sh
每个节点:
在$ZOOKEEPER_HOME目录下启动ZooKeeper集群
bin/zkServer.sh start
master节点:
在$HBASE_HOME目录下启动Hbase集群
bin/start-hbase.sh
2、命令查看
master节点
[root@c1 hbase]# jps
6382 QuorumPeerMain
5724 NameNode
5912 SecondaryNameNode
7666 Jps
6089 ResourceManager
6580 HMaster
6713 HRegionServer
slave节点:
[root@c2 zookeeper]# jps
5087 HRegionServer
4681 DataNode
5326 Jps
5156 HMaster
4974 QuorumPeerMain
4807 NodeManager
版权声明:本文为博主原创文章,未经博主允许不得转载。
hbase-0.98.1-cdh5.1.0 完全分布式搭建的更多相关文章
- hadoop2.3.0cdh5.0.2 升级到cdh5.7.0
后儿就放假了,上班这心真心收不住,为了能充实的度过这难熬的两天,我决定搞个大工程.....ps:我为啥这么期待放假呢,在沙发上像死人一样躺一天真的有意义嘛....... 当然版本:hadoop2.3. ...
- Spark 1.1.0 编译(为了支持hbase 0.98.6)
为了支持hbase0.98.6,需要重新编译spark 1. 下载spark 1.1.0源代码,以及 scala-2.10.4的bin包. 将环境变量 SCALA_HOME 设置为 scala-2.1 ...
- Hbase 0.98集群搭建的详细步骤
准备工作 Hbase的搭建是依赖于Hadoop的,Hbase的数据文件实际上存储在HDFS文件系统中,所以我们需要先搭建hadoop环境,之前的博文中已经搭建过了(详见http://www.cnblo ...
- hbase 0.98.1集群安装
本文将基于hbase 0.98.1解说其在linux集群上的安装方法,并对一些重要的设置项进行解释,本文原文链接:http://blog.csdn.net/bluishglc/article/deta ...
- Cloudera Hadoop 5& Hadoop高阶管理及调优课程(CDH5,Hadoop2.0,HA,安全,管理,调优)
1.课程环境 本课程涉及的技术产品及相关版本: 技术 版本 Linux CentOS 6.5 Java 1.7 Hadoop2.0 2.6.0 Hadoop1.0 1.2.1 Zookeeper 3. ...
- Dream------Hbase--0.94版本和0.98/1.X版本api变动
Dream------Hbase--0.94版本和0.98/1.X版本api变动 网上好多说getQualifier.getValue.getRow被..Array代替了,其实并不是的. 1. Int ...
- Hbase0.98.0完全分布式搭建---【使用外部zookeeper】
Hbase是一个分布式的实时数据库,他可以基于hadoop的hdfs,S3等分布式存储系统.而且使用zookeeper来通信(查询元数据和获取数据所在位置等功能) 本文的Hbase使用的是hadoop ...
- CentOS6非root用户下安装及配置CDH5.3.0
#install lsb packagesudo yum install -y redhat-lsb #install net-tools package sudo yum install -y ne ...
- CM自动化安装CDH5.14.0详解
CDH5.14.0版本说明 CDH最早版本只包含hadoop.hive.hbase等基础组件,CDH5.14.0版本目前已经封装了spark.impala.kudu(CDH 5.13.x开始)等众多组 ...
随机推荐
- 20145210姚思羽《网络对抗》——shellcode注入& Return-to-libc攻击深入
20145210姚思羽<网络对抗>shellcode注入&Return-to-libc攻击深入 shellcode基础知识 Shellcode是一段代码,作为数据发送给受攻击服务器 ...
- hadoop-2.0.0-cdh4.6.0、sqoop-1.4.3-cdh4.6.0、mahout-0.7-cdh4.6.0 安装笔记
1. /etc/profile中环境变量配置: export HADOOP_HOME=/usr/local/hadoop/cdh4. export HADOOP_MAPRED_HOME=${HADOO ...
- 《python基础教程(第二版)》学习笔记 字典(第4章)
<python基础教程(第二版)>学习笔记 字典(第4章)创建字典:d={'key1':'value1','key2':'value2'}lst=[('key1','value1'),(' ...
- Unigui unidbgrid+unidac uniquery联合使用时产生的奇葩问题
如下一个uniquery查询: SELECT a.id,a.userid,a.name,if(a.completed='T',CONCAT('<a class="icons" ...
- js里对php存贮的cookie进行读取和删除
/* 读取cookie */ function getCookie(name){ var arr,reg=new RegExp("(^| )"+name+"=([^;]* ...
- 本地连接出现"已启用检测该状态的服务"解决方法、方案
1.运行 输出dcomcnfg 2.组件服务-计算机-我的电脑-DCOM配置-netprofm 3.右键属性-安全-启动和激活权限-自定义 4.编辑-添加-输入对象名称来选择-输入“LOCAL SER ...
- 算法(Algorithms)第4版 练习 1.5.10
Yes, but it could increase the tree height, so the performance guarantee would be invalid.
- 统计apachelog各访问状态个数(使用MapReduce)
统计日志文件中各访问状态的个数. 1.将日志数据上传到hdfs 路径 /mapreduce/data/apachelog/in 中 内容如下 ::::::: - - [/Feb/::: +] :::: ...
- orcal操作锦集
更新时间:update qs_settle_dt_cfg set end_date=to_date('9999-12-31','yyyy-MM-dd');查询时间:select to_char( e ...
- 【leetcode刷题笔记】Path Sum
Given a binary tree and a sum, determine if the tree has a root-to-leaf path such that adding up all ...