spark学习4(zookeeper3.4集群搭建)
第一步:zookeeper安装
通过WinSCP软件将zookeeper-3.4.8.tar.gz软件传送到/usr/zookeeper/目录下
[root@spark1 zookeeper]# chmod u+x zookeeper-3.4.8.tar.gz #增加执行权限
[root@spark1 zookeeper]# tar -zxvf zookeeper-3.4.8.tar.gz #
[root@spark1 zookeeper]# mv zookeeper-3.4.8 zk
[root@spark1 ~]# vi /etc/profile
export ZOOKEEPER_HOME=/usr/zookeeper/zk
export PATH=$ZOOKEEPER_HOME/bin
[root@spark1 ~]# source /etc/profile
第二步:配置zoo.cfg
[root@spark1 ~]# cd /usr/zookeeper/zk/conf
[root@spark1 conf]# mv zoo_sample.cfg zoo.cfg
[root@spark1 conf]# vi zoo.cfg #进入文件修改以下内容
dataDir=/usr/zookeeper/zk/data #修改
新增
server.0=spark1:2888:3888
server.1=spark2:2888:3888
server.2=spark3:2888:3888
第三步:设置zookeeper节点标识
[root@spark1 zk]# mkdir data #进入到zookeeper目录
[root@spark1 zk]# cd data
[root@spark1 data]# vi myid #创建该文件并输入数字0
0
第四步:搭建zookeeper集群
在两个节点上按照上述步骤配置ZooKeeper,使用scp将zk和.bashrc拷贝到spark2和spark3上。区别是spark2和spark3的标识号分别设置为1和2,需重新设置
[root@spark1 usr]# scp -r zookeeper root@spark2:/usr/ #拷贝zookeeper目录到spark2
[root@spark1 usr]# scp -r zookeeper root@spark3:/usr/ #
[root@spark1 ~]# scp -r /etc/profile root@spark2:/etc/ #
[root@spark1 ~]# scp -r /etc/profile root@spark3:/etc/ #拷贝目录到spark3
[root@spark2 ~]# source /etc/profile #使配置生效
[root@spark3 ~]# source /etc/profile
[root@spark2 zk]# cd data #进入zookeeper下的data目录
[root@spark2 data]# vi myid #修改myid文件为1
[root@spark3 zk]# cd data
[root@spark3 data]# vi myid #修改myid文件为2
第五步:启动zookeeper集群
分别在三台机器上执行:zkServer.sh start
[root@spark1 zk]# zkServer.sh start #各个节点分别执行
[root@spark2 zk]# zkServer.sh start
[root@spark3 zk]# zkServer.sh start
[root@spark1 zk]# #检查zookeeper状态
[root@spark2 zk]# zkServer.sh status
[root@spark3 zk]# zkServer.sh status






第六步:连接zookeeper集群
三个节点都验证下
[root@spark1 zk]# bin/zkCli.sh -server 192.168.220.144:2181 #验证spark1节点




spark学习4(zookeeper3.4集群搭建)的更多相关文章
- spark学习5(hbase集群搭建)
第一步:Hbase安装 hadoop,zookeeper前面都安装好了 将hbase-1.1.3-bin.tar.gz上传到/usr/HBase目录下 [root@spark1 HBase]# chm ...
- spark学习1(hadoop集群搭建)
把原先搭建的集群环境给删除了,自己重新搭建了一次,将笔记整理在这里,方便自己以后查看 第一步:安装主节点spark1 第一个节点:centos虚拟机安装,全名spark1,用户名hadoop,密码12 ...
- ZooKeeper学习笔记一:集群搭建
作者:Grey 原文地址:ZooKeeper学习笔记一:集群搭建 说明 单机版的zk安装和运行参考:https://zookeeper.apache.org/doc/r3.6.3/zookeeperS ...
- redis 学习笔记(6)-cluster集群搭建
上次写redis的学习笔记还是2014年,一转眼已经快2年过去了,在段时间里,redis最大的变化之一就是cluster功能的正式发布,以前要搞redis集群,得借助一致性hash来自己搞shardi ...
- 大数据平台搭建 - cdh5.11.1 - spark源码编译及集群搭建
一.spark简介 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎,Spark 是一种与 hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同 ...
- redis学习五,redis集群搭建及添加主从节点
redis集群 java架构师项目实战,高并发集群分布式,大数据高可用,视频教程 在redis3.0之前,出现了sentinel工具来监控各个Master的状态(可以看上一篇博客).如果Master异 ...
- Etcd学习(二)集群搭建Clustering
1.单个etcd节点(测试开发用) 之前我一直开发测试一直是用的一个Etcd节点,然后启动命令一直都是直接打一个etcd(我已经将etcd安装目录的bin目录加入到PATH环 境变量中),然后启动信息 ...
- Redis Cluster集群搭建与应用
1.redis-cluster设计 Redis集群搭建的方式有多种,例如使用zookeeper,但从redis 3.0之后版本支持redis-cluster集群,redis-cluster采用无中心结 ...
- 大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解
引言 在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单 ...
随机推荐
- azure iothub create-device-identity样例报错: unable to find valid certification path ,及iothub-explorer Error: CERT_UNTRUSTED
https://docs.microsoft.com/zh-cn/azure/iot-hub/iot-hub-java-java-getstarted 在IDEA中执行上述的代码,会出现下面的报错信息 ...
- poj 3590(dp 置换)
题目的意思是对于序列1,2,...,n.要你给出一种字典序最小的置换使得经过X次后变成最初状态,且要求最小的X最大. 通过理解置换的性质,问题可以等价于求x1,x2,..,xn 使得x1+x2+... ...
- Kotlin——初级篇(三):数据类型详解
任意一种开发语言都有其数据类型,并且数据类型对于一门开发语言来说是最基本的构成,同时也是最基础的语法.当然,Kotlin也不例外.Kotlin的数据类型和Java是大致相同的,但是他们的写法不同,并且 ...
- 1282 时钟(最小表示法+hash)
1282 时钟 题目来源: Codility 基准时间限制:1 秒 空间限制:131072 KB 分值: 40 难度:4级算法题 有N个时钟,每个时钟有M个指针,P个刻度.时钟是圆形的,P个刻度均分整 ...
- 关于webpack打包图片的路径问题
在webpack打包的时候,用css-loader的时候,在css文件里用的引用的背景的图片的时候,如果是url()...那么里面的路径不能用相对路径,得用绝对路径,而且必须是带http的,幸好,,, ...
- RabbitMQ_消息队列基本使用_2
简介 RabbitMQ:接受消息再传递消息,可以视为一个“邮局”. 发送者和接受者通过队列来进行交互,队列的大小可以视为无限的,多个发送者可以发生给一个队列,多个接收者也可以从一个队列中接受消息. p ...
- Datetime 模块求日期差
Datetime 模块求日期差 导入 datetime 模块/实例化当前时间对象 调用.date() 方法 得到当前年/月/日时间 实例化时间差对象 delta 求当前日期减去时间差 delta 后的 ...
- Python——用正则求时间差
如有求时间差的需求,可直接套用此方法: import time true_time=time.mktime(time.strptime('2017-09-11 08:30:00','%Y-%m-%d ...
- JS单例
s = (function S(){ var bean; function get(){ if(bean){ return bean }else{ bean = T(); return bean; } ...
- 【Nginx】HTTP请求的11个处理阶段
Nginx将一个HTTP请求分成多个阶段.以模块为单位进行处理.这样做的优点是使处理过程更加灵活.减少耦合度.HTTP框架将处理分成了11个阶段,各个阶段能够包括随意多个HTTP模块并以流水线的方式处 ...