zookeeper是本身是一种分布式协调服务(英文意思动物园园长因为Hadoop就是一个动物园,storm、hadoop、kafkaka、hbaser都是基于zookeeper开发的)

原理:Zookeeper虽然在配置文件中并没有指定master和slave但是,zookeeper工作时,是有一个节点为leader,其他则为follower,Leader是通过内部的选举机制临时产生的。

一、zookeeper是什么(马士兵的说法,言简意赅!)

1、一致:所有用户通过客户端访问的数据全部一致

2、有头:每个zookeeper集群都有一个leader和几个follower(通过PAXOS的选举机制)

Leader 和  follower  只要集群中有半数以上节点存活,集群就能提供服务

3.数据树:树状的储存数据结构(存储类型分为暂时和持久)

数据Znode有两种类型:

短暂(ephemeral)(断开连接自己删除)

持久(persistent)(断开连接不删除)

二、zookeeper的功能

1、管理(存储,读取)用户程序提交的数据;

2、并为用户程序提供数据节点监听服务;

三、作用有哪些

1、集群的配置一致

2、对每台机器和数据进行监听

3.、分布式的负载平衡

4、分布式锁

四、集群的特点

半数机制:集群中半数以上机器存活,集群可用。

zookeeper适合装在奇数台机器上!

五、搭建zookeeper集群的步骤

前提条件JDK安装完毕

  5.1上传及解压

解压:tar -zxvf zookeeper-3.4.5.tar.gz

重命名 : mv zookeeper-3.4.5 zookeeper

  5.2修改环境变量

vim /etc/profile(修改文件)

  #zookeeper环境配置(为了在各种目录都能运行zookeeper命令)

  export ZOOKEEPER_HOME=/home/hadoop/zookeeper(你zookeeper安装路径)

  export PATH=$PATH:$ZOOKEEPER_HOME/bin

wq:保存退出

source /etc/profile :重启配置文件

  5.3修改zookeeper的配置文件

进入conf目录: cd zookeeper/conf

重命名:cp zoo_sample.cfg zoo.cfg

vim zoo.cfg

dataDir=/home/hadoop/zookeeper/data(创建路径保存数据)

dataLogDir=/home/hadoop/zookeeper/log(创建数据保存日志)

server.1=slave1:2888:3888 (主机名, 心跳端口、数据端口)

server.2=slave2:2888:3888

server.3=slave3:2888:3888

wq:保存退出

创建刚才配置文件的目录

cd /home/hadoop/zookeeper/

mkdir -m 755 data

mkdir -m 755 log

  5.4在data文件夹下新建myid文件,myid的文件内容为:

cd data

vi myid

1(对应子机的编号)

wq:退出

scp -r /home/hadoop/zookeeper root@slave2:/home/hadoop/

scp -r /home/hadoop/zookeeper root@slave3:/home/hadoop/

到slave2上:修改myid为:2

到slave3上:修改myid为:3

   5.5启动测试

zkServer.sh start

jps(查看进程)

zkServer.sh status(查看集群状态,主从信息)

五、zookeeper客户端操作

运行 zkCli.sh –server <ip>进入命令行工具

1、查看当前 ZooKeeper 中所包含的内容

ls /

2、创建 :这个命令创建了一个新的 znode 节点“ zk ”以及与它内容:

create /zk "myData“

3、我们运行 get 命令来确认 znode 是否有内容:

[zk: 202.115.36.251:2181(CONNECTED) 3] get /zk

#监听这个节点的变化,当另外一个客户端改变/zk时,它会打出下面的

get /zk watch

4、下面我们通过 set 命令来对 zk 所关联的字符串进行设置:

[zk: 202.115.36.251:2181(CONNECTED) 4] set /zk "zsl“

5、znode 删除:只能删一个

[zk: 202.115.36.251:2181(CONNECTED) 5] delete /zk

6、删除所有子节点:rmr

[zk: 202.115.36.251:2181(CONNECTED) 5] rmr /zk

3.0 zookeeper的集群介绍、搭建、环境、安装的更多相关文章

  1. Zookeeper服务器集群的搭建与操作

    ZooKeeper 作用:Zookeeper 可以用来保证数据在zk集群之间的数据的事务性一致(原子操作). 介绍:Zookeeper 是 Google 的 Chubby一个开源的实现,是 Hadoo ...

  2. zookeeper以及集群的搭建

    今天我来写一写zookeeper集群的搭建流程 1.zookeeper的搭建不难,难的是对他的理解以及良好的使用.单机版的zookeeper只需要解压后直接命令 启动即可 解压zookeeper,ta ...

  3. zookeeper伪集群的搭建

    由于公司服务器数量的限制,我们往往没有那么多的服务器用来搭建zookeeper的集群,所以产生了伪集群的搭建,也就是将多个zookeeper搭建在同一台机器上. 准备工作: 1,一台服务器,我们这里用 ...

  4. zookeeper的集群介绍、搭建、环境、安装

    zookeeper是本身是一种分布式协调服务(英文意思动物园园长因为Hadoop就是一个动物园,storm.hadoop.kafkaka.hbaser都是基于zookeeper开发的) 原理:Zook ...

  5. Spark3.0.1各种集群模式搭建

    对于spark前来围观的小伙伴应该都有所了解,也是现在比较流行的计算框架,基本上是有点规模的公司标配,所以如果有时间也可以补一下短板. 简单来说Spark作为准实时大数据计算引擎,Spark的运行需要 ...

  6. ZooKeeper伪集群的搭建(Windows)

    首先下载 zookeeper 地址:https://www.apache.org/dyn/closer.cgi/zookeeper/ 1.下载完成解压后修改文件夹名字为zookeeper1,然后删除c ...

  7. oracle 集群RAC搭建--环境准备

    一,环境介绍 目前我本身环境已经有DG,正在尝试重做搭建.如需完成请移步往期文章--搭建DG

  8. 关于Hadoop集群的搭建环境变量相关配置

    在任何路径下输入HDFS中的命令都可以进行shell操作的配置: 要设置环境变量: (1) # vim /etc/profile在profile文件下面追加写入下面信息 export HADOOP_H ...

  9. zookeeper介绍及集群的搭建(利用虚拟机)

    ZooKeeper ​ ZooKeeper是一个分布式的,开放源码(apache)的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase.dubbox.kaf ...

随机推荐

  1. HDU 1158(非常好的锻炼DP思维的题目,非常经典)

    题目链接: acm.hdu.edu.cn/showproblem.php?pid=1158 Employment Planning Time Limit: 2000/1000 MS (Java/Oth ...

  2. Asp.net MVC使用FormsAuthentication,MVC和WEB API可以共享身份认证 (转载)

    在实际的项目应用中,很多时候都需要保证数据的安全和可靠,如何来保证数据的安全呢?做法有很多,最常见的就是进行身份验证.验证通过,根据验证过的身份给与对应访问权限.同在Web Api中如何实现身份认证呢 ...

  3. Linux 下让终端走代理的方法

    转载: https://blog.fazero.me/2015/09/15/%E8%AE%A9%E7%BB%88%E7%AB%AF%E8%B5%B0%E4%BB%A3%E7%90%86%E7%9A%8 ...

  4. OpenID Connect Core 1.0(四)使用授权码流验证(上)

    3.1 使用授权码流验证(Authentication using the Authorization Code Flow) 本节描述如何使用授权码流执行验证.当使用授权码流时,会从令牌终结点返回的所 ...

  5. sqlplus连接半天才连上

    问题现象: 某oracle数据库服务器发现使用ssh,crt连接半天1-2分钟后才返回输入密码的提示,应用人员发现使用 sys_GUID()函数获取唯一值的时候,第一次调用需要等待很长时间,但是同一s ...

  6. mongodb分组函数的使用(spring-data-mongodb)

    这两天要做mongodb日志的模块,下面记录一下. 一. 首先要导入一批数据,使用springboot来完成. 配置mongodb的复制集:在application.yml文件中配置uri来完成 格式 ...

  7. Java单例模式几种实现方式

    在平时的工作.学员的学习以及面试过程中,单例模式作为一种常用的设计模式,会经常被面试官问到,甚至笔试会要求学员现场默写,下面将会就单例模式的实现思路和几种常见的实现方式进行简单的分享. 单例模式,是一 ...

  8. Ext JS 6和Sencha CMD 6 快速入门

    Ext JS 6和Sencha CMD 6的入门很简单.一个命令,即可生成一个功能完整的“通用”应用程序,可以运行在本地服务器上. 这个“通用”的应用程序包含一组核心的stores,模型(models ...

  9. javascript设计模式系列二-封装

    JavaScript封装: var Book = function (id, name, price) { this.id = id, this.name = name, this.price = p ...

  10. java日常规范

    1.方法返回类型用int还是Integer 看需求,int是数据类型,不能包含null等. Integer是类,其中包含该类中属性和方法,包含null. 所以建议使用Integer,方便以后拓展. 2 ...