第一步:zookeeper安装

通过WinSCP软件将zookeeper-3.4.8.tar.gz软件传送到/usr/zookeeper/目录下

[root@spark1 zookeeper]# chmod u+x zookeeper-3.4.8.tar.gz #增加执行权限
[root@spark1 zookeeper]# tar -zxvf zookeeper-3.4.8.tar.gz #
[root@spark1 zookeeper]# mv zookeeper-3.4.8 zk
[root@spark1 ~]# vi /etc/profile
export ZOOKEEPER_HOME=/usr/zookeeper/zk
export PATH=$ZOOKEEPER_HOME/bin
[root@spark1 ~]# source /etc/profile

第二步:配置zoo.cfg

[root@spark1 ~]# cd /usr/zookeeper/zk/conf
[root@spark1 conf]# mv zoo_sample.cfg zoo.cfg
[root@spark1 conf]# vi zoo.cfg #进入文件修改以下内容
dataDir=/usr/zookeeper/zk/data #修改
新增
server.0=spark1:2888:3888
server.1=spark2:2888:3888
server.2=spark3:2888:3888

第三步:设置zookeeper节点标识


[root@spark1 zk]# mkdir data #进入到zookeeper目录
[root@spark1 zk]# cd data
[root@spark1 data]# vi myid #创建该文件并输入数字0
0

第四步:搭建zookeeper集群

在两个节点上按照上述步骤配置ZooKeeper,使用scp将zk和.bashrc拷贝到spark2和spark3上。区别是spark2和spark3的标识号分别设置为1和2,需重新设置

[root@spark1 usr]# scp -r zookeeper root@spark2:/usr/      #拷贝zookeeper目录到spark2
[root@spark1 usr]# scp -r zookeeper root@spark3:/usr/ #
[root@spark1 ~]# scp -r /etc/profile root@spark2:/etc/ #
[root@spark1 ~]# scp -r /etc/profile root@spark3:/etc/ #拷贝目录到spark3
[root@spark2 ~]# source /etc/profile #使配置生效
[root@spark3 ~]# source /etc/profile
[root@spark2 zk]# cd data #进入zookeeper下的data目录
[root@spark2 data]# vi myid #修改myid文件为1
[root@spark3 zk]# cd data
[root@spark3 data]# vi myid #修改myid文件为2

第五步:启动zookeeper集群

分别在三台机器上执行:zkServer.sh start


[root@spark1 zk]# zkServer.sh start #各个节点分别执行
[root@spark2 zk]# zkServer.sh start
[root@spark3 zk]# zkServer.sh start
[root@spark1 zk]# #检查zookeeper状态
[root@spark2 zk]# zkServer.sh status
[root@spark3 zk]# zkServer.sh status







第六步:连接zookeeper集群

三个节点都验证下

[root@spark1 zk]# bin/zkCli.sh -server 192.168.220.144:2181 #验证spark1节点





spark学习4(zookeeper3.4集群搭建)的更多相关文章

  1. spark学习5(hbase集群搭建)

    第一步:Hbase安装 hadoop,zookeeper前面都安装好了 将hbase-1.1.3-bin.tar.gz上传到/usr/HBase目录下 [root@spark1 HBase]# chm ...

  2. spark学习1(hadoop集群搭建)

    把原先搭建的集群环境给删除了,自己重新搭建了一次,将笔记整理在这里,方便自己以后查看 第一步:安装主节点spark1 第一个节点:centos虚拟机安装,全名spark1,用户名hadoop,密码12 ...

  3. ZooKeeper学习笔记一:集群搭建

    作者:Grey 原文地址:ZooKeeper学习笔记一:集群搭建 说明 单机版的zk安装和运行参考:https://zookeeper.apache.org/doc/r3.6.3/zookeeperS ...

  4. redis 学习笔记(6)-cluster集群搭建

    上次写redis的学习笔记还是2014年,一转眼已经快2年过去了,在段时间里,redis最大的变化之一就是cluster功能的正式发布,以前要搞redis集群,得借助一致性hash来自己搞shardi ...

  5. 大数据平台搭建 - cdh5.11.1 - spark源码编译及集群搭建

    一.spark简介 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎,Spark 是一种与 hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同 ...

  6. redis学习五,redis集群搭建及添加主从节点

    redis集群 java架构师项目实战,高并发集群分布式,大数据高可用,视频教程 在redis3.0之前,出现了sentinel工具来监控各个Master的状态(可以看上一篇博客).如果Master异 ...

  7. Etcd学习(二)集群搭建Clustering

    1.单个etcd节点(测试开发用) 之前我一直开发测试一直是用的一个Etcd节点,然后启动命令一直都是直接打一个etcd(我已经将etcd安装目录的bin目录加入到PATH环 境变量中),然后启动信息 ...

  8. Redis Cluster集群搭建与应用

    1.redis-cluster设计 Redis集群搭建的方式有多种,例如使用zookeeper,但从redis 3.0之后版本支持redis-cluster集群,redis-cluster采用无中心结 ...

  9. 大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解

    引言 在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单 ...

随机推荐

  1. 用ElasticSearch搭建自己的搜索和分析引擎【转自腾讯Wetest】

    本文大概地介绍了ES的原理,以及Wetest在使用ES中的一些经验总结.因为ES本身涉及的功能和知识点非常广泛,所以这里重点挑出了实际项目中可能会用到,也可能会踩坑的一些关键点进行了阐述. 一 重要概 ...

  2. selenium-webdriver 中执行js代码

    #获取标签的text文本值 js1="return document.getElementById('key1').innerText" dr.execute_script(js1 ...

  3. Android开发:《Gradle Recipes for Android》阅读笔记1.4

    在android studio下可以使用gradle视图运行gradle. gradle任务被分别组织在不同目录下,如android,build,install. 需要执行特定的任务只要双击任务名称. ...

  4. Java之美[从菜鸟到高手演变]之字符串

    一.String 1.String简介 初始化: 一般由String声明的字符串,长度是不可变的,这也是它与StringBuffer和StringBuilder最直观的一个区别.一般初始化方式:Str ...

  5. Python 基础函数

    函数: 在程序设计中,函数是指用于进行某种计算的一系列语句的有名称的组合. 定义一个函数时,需要指定函数的名称并写下一系列程序语句.定义时不会执行,运行代码时,先加载进内存中,之后使用名称来调用这个函 ...

  6. 《从零开始学Swift》学习笔记(Day 27)——可选类型

    原创文章,欢迎转载.转载请注明:关东升的博客 可选类型: 我们先看看如下代码: n1 = nil //编译错误 let str: String = nil //编译错误 Int和String类型不能接 ...

  7. 贝叶斯网(2)Netica:从数据中学习CPT

    1. 离散节点 在官方Tutorial中是有详细的案例的,就是B篇3.3节,你可以动手把天气预报这个实现一下: http://www.norsys.com/tutorials/netica/secB/ ...

  8. camke GUI工具 选择 vs2017 时,如何指定工具集 v140 而不是默认的 v141?

    在参数位置加入 v140 即可,不需要加 -T

  9. Vue中浏览器的的前进和后退

    项目开发的时候,有时候可能需要我们来对页面后退和前进,这个东西跟浏览器自带的前进后退功能很像,下面来大致讲一下在vue中浏览器的前进和后退 一.后退功能 vue中的后退有好多种方法可以使用,使用这些方 ...

  10. ThinkPHP的create方法的一系列操作

    1.数据操作状态 create方法的第二个参数可以指定数据的操作状态,默认是自动判断的(写入[Model:MODEL_INSERT或者1].更新[Model:MODEL_UPDATE或者2].也可以自 ...