spark学习5(hbase集群搭建)
第一步:Hbase安装
hadoop,zookeeper前面都安装好了
将hbase-1.1.3-bin.tar.gz上传到/usr/HBase目录下
[root@spark1 HBase]# chmod u+x hbase-1.1.3-bin.tar.gz
[root@spark1 HBase]# tar -zxvf hbase-1.1.3-bin.tar.gz
[root@spark1 HBase]# mv hbase-1.1.3 hbase-1.1
[root@spark1 ~]# vi/etc/profile #配置环境变量
export HBASE_HOME=/usr/HBase/hbase-1.1
export PATH=$PATH:$HBASE_HOME/bin
[root@spark1 ~]# source /etc/profile #使其生效
第二步:修改配置文件
编辑 hbase-env.xml
[root@spark1 conf]# vi hbase-env.sh
# The java implementation to use. Java 1.7+ required.
export JAVA_HOME=/usr/java/jdk
# Extra Java CLASSPATH elements. Optional.
export HBASE_CLASSPATH=/usr/HBase/hbase-1.1/conf
# Tell HBase whether it should manage it's own instance of Zookeeper or not.
export HBASE_MANAGES_ZK=false 使用HBASE自带的zookeeper管理集群用true,自己安装的用false
编辑 hbase-site.xml
[root@spark1 hbase-1.1]# mkdir tmp
[root@spark1 hbase-1.1]# cd conf
[root@spark1 conf]# vi hbase-site.xml
<property>
<name>hbase.tmp.dir</name>
<value>/usr/HBase/hbase-1.1/tmp</value>
</property>
<!-- 指定hbase在HDFS上存储的路径 -->
<property>
<name>hbase.rootdir</name>
<value>hdfs://spark1:9000/hbase</value>
</property>
<!-- 打开 hbase 分布模式 -->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!-- 指定zk的地址,多个用“,”分割 -->
<property>
<name>hbase.zookeeper.quorum</name>
<value>spark1,spark2,spark3</value>
</property>
编辑 regionservers
[root@spark1 conf]# vi regionservers #添加从节点
spark2
spark3
第三步:搭建hbase集群
[root@spark1 usr]# scp -r HBase root@spark2:/usr/
[root@spark1 usr]# scp -r HBase root@spark3:/usr/
[root@spark1 ~]# scp -r /etc/profile root@spark2:/etc/
[root@spark1 ~]# scp -r /etc/profile root@spark3:/etc/
[root@spark2 ~]# source /etc/profile
[root@spark3 ~]# source /etc/profile
第四步:启动 / 关闭 Hbase 数据库集群
启动前我先把hadoop启动和zookeeper启动
[root@spark1 ~]# zkServer.sh start #三个节点都要启动
[root@spark1 ~]# zkServer.sh status #查看是否启动成功
[root@spark1 ~]# start-all.sh #启动hadoop
[root@spark1 ~]# start-hbase.sh
[root@spark1 ~]# stop-hbase.sh
第五步:验证启动
查看jps和hbase shell
[root@spark1 ~]# jps
[root@spark1 ~]# hbase shell
status #查看状态
version #查看版本


spark学习5(hbase集群搭建)的更多相关文章
- 高可用Hadoop平台-HBase集群搭建
1.概述 今天补充一篇HBase集群的搭建,这个是高可用系列遗漏的一篇博客,今天抽时间补上,今天给大家介绍的主要内容目录如下所示: 基础软件的准备 HBase介绍 HBase集群搭建 单点问题验证 截 ...
- HBase集群搭建
HBase集群搭建 搭建环境:假设我们的linux环境已经准备好,包括网络.JDK.防火墙.主机名.免密登录等都没有问题,而且一定要有zookeeper.下面我们用3台linux虚拟机来搭建Hbase ...
- Hadoop+HBase 集群搭建
Hadoop+HBase 集群搭建 1. 环境准备 说明:本次集群搭建使用系统版本Centos 7.5 ,软件版本 V3.1.1. 1.1 配置说明 本次集群搭建共三台机器,具体说明下: 主机名 IP ...
- 【原创 Hadoop&Spark 动手实践 5】Spark 基础入门,集群搭建以及Spark Shell
Spark 基础入门,集群搭建以及Spark Shell 主要借助Spark基础的PPT,再加上实际的动手操作来加强概念的理解和实践. Spark 安装部署 理论已经了解的差不多了,接下来是实际动手实 ...
- Spark学习之在集群上运行Spark(6)
Spark学习之在集群上运行Spark(6) 1. Spark的一个优点在于可以通过增加机器数量并使用集群模式运行,来扩展程序的计算能力. 2. Spark既能适用于专用集群,也可以适用于共享的云计算 ...
- Hbase集群搭建及所有配置调优参数整理及API代码运行
最近为了方便开发,在自己的虚拟机上搭建了三节点的Hadoop集群与Hbase集群,hadoop集群的搭建与zookeeper集群这里就不再详细说明,原来的笔记中记录过.这里将hbase配置参数进行相应 ...
- hbase集群搭建参考资料
hadoop分布式集群搭建 http://www.ityouknow.com/hadoop/2017/07/24/hadoop-cluster-setup.html hbase分布式集群搭建: htt ...
- 基于centos6.5 hbase 集群搭建
注意本章内容是在上一篇文章“基于centos6.5 hadoop 集群搭建”基础上创建的 1.上传hbase安装包 hbase-0.96.2-hadoop2 我的目录存放在/usr/hadoop/hb ...
- 大数据中HBase集群搭建与配置
hbase是分布式列式存储数据库,前提条件是需要搭建hadoop集群,需要Zookeeper集群提供znode锁机制,hadoop集群已经搭建,参考 Hadoop集群搭建 ,该文主要介绍Zookeep ...
随机推荐
- 高性能图片服务器–ZIMG(转)
2011年李彦宏在百度联盟峰会上就提到过互联网的读图时代已经到来1,图片服务早已成为一个互联网应用中占比很大的部分,对图片的处理能力也相应地变成企业和开发者的一项基本技能.需要处理海量图片的典型应用有 ...
- 《数据结构(C#语言描述)》
本文转载自abatei,数据结构学了很多次,但是只是知道硬性的概念,现在专攻C#语言,对编程语言也有了更深的认识, 买一本C#的数据结构来看看,再一次加深对数据结构的学习,真是一件让人高兴的事. 当当 ...
- tf.name_scope()和tf.variable_scope()
https://blog.csdn.net/gqixf/article/details/80191918 https://blog.csdn.net/uestc_c2_403/article/deta ...
- JSF -> 导航(Navigation)
在使用jsf框架时,肯定会用到faces-config.xml. 而其中就会出现很多的Navigation项. 其实这些Navigation就是一些页面跳转的东西. 以下内容来自http://blog ...
- 160819、JavaScript-数组去重由慢到快由繁到简
JavaScript-数组去重由慢到快由繁到简演化 indexOf去重 Array.prototype.unique1 = function() { var arr = []; for (var ...
- influxDB 变换类函数
1.DERIVATIVE()函数 作用:返回一个字段在一个series中的变化率. InfluxDB会计算按照时间进行排序的字段值之间的差异,并将这些结果转化为单位变化率.其中,单位可以指定,默认为1 ...
- do not use numbers as enumeration values
w 字段类型设置错误 有限元的判断,勿用枚举行. MySQL :: MySQL 5.7 Reference Manual :: 12.4.4 The ENUM Typehttps://dev.mysq ...
- Ubuntu 16.04特性及使用基本方法
十招让Ubuntu 16.04用起来更得心应手 Ubuntu 16.04 LTS的这十项新功能,每个Ubuntu用户必须要知道! Ubuntu 16.04 LTS安装好需要设置的15件事
- Django 模板系统(template)
介绍 官方文档 常用模板语法 只需要记两种特殊符号: {{ }} 和 {% %} 变量相关的用{{}} 逻辑相关的用{%%} 变量 {{ 变量名 }} 变量名由字母数字和下划线组成. 点(.)在模 ...
- 序列化的两个模块(json和pickle)
到底什么是序列化(picking)呢? 我们把变量从内存中变成可存储或传输的过程称之为序列化 序列化之后,就可以把序列化后的内容写入磁盘,或者通过网络传输到别的机器上. 反过来,把变量内容从序列化的对 ...