ZooKeeper 相关概念以及使用小结

Dubbo 通过注册中心在分布式环境中实现服务的注册与发现,而注册中心通常采用 ZooKeeper,研究注册中心相关源码绕不开 ZooKeeper,所以学习了 ZooKeeper 的基本概念以及相关 API 操作。
ZooKeeper 相关概念
session
客户端与服务端采用 TCP 长连接,服务端在为客户端创建 Session 会分配一个唯一 sessionId。在 Session timeout 时间内,客户端可以向服务端发送请求以及接受 watcher 事件通知。
数据结构
Zookeeper 将所有数据存储在内存中,数据模型是一棵树(Znode Tree),由斜杠(/)的进行分割的路径,就是一个Znode,例如/foo/path1。

Znode
Znode 将会保存数据内容以及相关属性信息。在 Znode 中使用 Stat 数据结保存相关属性信息。Stat 属性中有三种版本信息,分别为 version:当前节点版本信息,cversion:当前节点子节点版本,aversion 当前节点的 ACL 版本。每次发生改动,版本数值将会单调递增。
更新,删除 Znode 可以传入版本数值,如果版本数值不对,将会导致删除/更新失败,这个特性类似于 CAS 操作。
Znode 有以下几种类型:
- 永久节点
一旦创建,将会一直存在,除非手动删除。dubbo 目录节点为永久节点。
- 临时节点
临时节点基于客户端 Session,Session 有效期内将会一直存在,Session 失效,节点将会自动删除。
利用这个机制,Dubbo 服务者创建的节点就是临时节点。如果 Dubbo 服务者程序意外宕机,在 Session 超时之后,也能自动删除服务节点,自动下线有问题的服务。
3 顺序节点
创建顺序节点将会自动在名字后追加整形数字,默认长度为 10 位。顺序节点也分为永久与临时。
利用临时顺序节点,我们可以用来实现分布式锁 七张图彻底讲清楚ZooKeeper分布式锁的实现原理【石杉的架构笔记】。
Watcher 机制
客户端可以在指定节点注册监听器(Watcher),在触发特定事件后,ZooKeeper 服务端会将事件通知到客户端。在 Dubbo 中消费者基于 watcher 机制可以动态感知到新的服务者加入。
ZooKeeper 可以在三种请求中设置监听,分别为:
- getData(),获取节点数据
- getChildren() 获取子节点
- exists() 判断节点是否存在
通知事件类型分为,增删改事件,以及子节点变动事件。
需要注意的是,watcher 通知过一次之后将会失效,若想继续监听通知,需要重新注册。
ZooKeeper 原生 API 操作
ZooKeeper 官方提供 Java API 实现,提供相关操作的方法。
创建连接
ZooKeeper zk=new ZooKeeper("127.0.0.1:2181", 150000, new Watcher() {
@Override
public void process(WatchedEvent watchedEvent) {
System.out.println("已经触发了" + watchedEvent.getType() + "事件"+watchedEvent);
}
});
创建连接需要传入 ZooKeeper 服务端地址,然后设定 session 超时时间,另外还需要创建一个 Watcher,用于监听连接事件。建立连接之后,就可以使用该客户端操作。
CURD 操作
// 创建永久节点,需要传入 ACL 权限列表,以及指定节点类型
zk.create("/test","test".getBytes(), ZooDefs.Ids.CREATOR_ALL_ACL,CreateMode.PERSISTENT);
// 修改节点值。更新节点值需要传入节点的版本,如果版本与服务端版本不一致,更新失败,类似 CAS 机制。-1 代表不比较节点版本
zk.setData("/test","test1".getBytes(),-1);
// 删除节点.删除节点也需要传入节点版本
zk.delete("/test",-1);
// 创建临时节点
zk.create("/ephemeral","ephemeral".getBytes(), ZooDefs.Ids.CREATOR_ALL_ACL,CreateMode.EPHEMERAL);
ZooKeeper 客户端相关 CRUD 操作如上。可以看到相关操作比较繁琐,需要传入参数较多。
watcher
// 在 exists 注册 watcher,创建节点,删除节点,改变节点将会触发回调
zk.exists("/test", new Watcher() {
@Override
public void process(WatchedEvent event) {
System.out.println("回调实例,类型为:"+event.getType());
}
});
// 获取节点数据,可以注册 watcher,删除节点以及改变节点数据可以触发回调
zk.getData("/test", new Watcher() {
@Override
public void process(WatchedEvent event) {
System.out.println("回调实例,类型为:"+event.getType());
}
},new Stat());
// 获取子节点,注册 watcher,一级子节点变动后将会触发回调
zk.getChildren("/test", new Watcher() {
@Override
public void process(WatchedEvent event) {
System.out.println("回调实例,类型为:"+event.getType());
}
});
ZooKeeper API 可以为三种操作注册 watcher,一旦相关节点变动将会触发事件通知。
Curator
从上面代码示例可以看到 ZooKeeper 提供 API 比较复杂且难用。可以使用 Curator 或者 zkclient 这种第三方框架代替原生 API。这类框架封装 ZooKeeper 原生 API,抽象化相关接口,简化操作难度。
dubbo 抽象相关 ZooKeeper 操作,并分别使用 Curator 或者 zkclien 实现。在 dubbo 2.6.1 版本之后将会默认使用 Curator,之前版本默认使用 zkclient 。
下面我们使用 Curator 操作 ZooKeeper 。
建立连接
// 设置重试策略
RetryPolicy retryPolicy = new ExponentialBackoffRetry(1000, 3);
// 默认 session 超时时间 60 s
CuratorFramework client = CuratorFrameworkFactory.newClient("127.0.0.1:2181", retryPolicy);
Curator 创建连接与原生 API 大致相关,不过需要设置重试策略,第一次连接失败,Curator 可以重新尝试连接,直到超过最大连接次数。
节点 CURD 操作
// 创建目录节点
client.create().forPath("/test", "123456789".getBytes());
// 创建普通节点
client.create().forPath("/test/normal", "123121".getBytes());
// 修改普通节点内容
client.setData().forPath("/test/normal", "1121231231".getBytes());
// 删除节点
client.delete().forPath("/test/normal");
// 创建临时节点
client.create().withMode(CreateMode.EPHEMERAL).forPath("/ephemeral");
// 创建永久顺序节点
client.create().withMode(CreateMode.EPHEMERAL_SEQUENTIAL).forPath("/sequential");
// 获取所有子节点
List<String> nodes = client.getChildren().forPath("/parent");
Curator CRUD 操作比较简单,无需设置相关属性参数。
设置监听
Curator 相关监听 API 封装 zookeeper 原生API,内部增加重复注册等功能,从而使监听可以重复使用。
Curator 存在三种类型 API。
NodeCache:针对节点增删改操作。PathChildrenCache:针对节点一级目录下节点增删改监听TreeCache:结合NodeCache与PathChildrenCache操作,不仅可以监听当前节点,还可以监听节点下任意子节点(支持多级)变动。
// `NodeCache`使用方式
NodeCache nodeCache=new NodeCache(client,"/test1",false);
nodeCache.getListenable().addListener(new NodeCacheListener() {
@Override
public void nodeChanged() throws Exception {
System.out.println("当前节点:"+nodeCache.getCurrentData());
}
});
nodeCache.start();
// PathChildrenCache 使用方式
PathChildrenCache pathChildrenCache=new PathChildrenCache(client,"/test2",false);
pathChildrenCache.getListenable().addListener(new PathChildrenCacheListener() {
@Override
public void childEvent(CuratorFramework client, PathChildrenCacheEvent event) throws Exception {
System.out.println(event);
}
});
pathChildrenCache.start(PathChildrenCache.StartMode.BUILD_INITIAL_CACHE);
System.out.println("注册watcher成功...");
// TreeCache 使用方式
TreeCache treeCache=new TreeCache(client,"/tree");
treeCache.getListenable().addListener(new TreeCacheListener() {
@Override
public void childEvent(CuratorFramework client, TreeCacheEvent event) throws Exception {
System.out.println(event);
}
});
treeCache.start();
System.out.println("注册watcher成功...");

ZooKeeper 相关概念以及使用小结的更多相关文章
- 【入门】ZooKeeper 相关概念总结
1. 前言 相信大家对 ZooKeeper 应该不算陌生.但是你真的了解 ZooKeeper 到底有啥用不?如果别人/面试官让你给他讲讲对于 ZooKeeper 的认识,你能回答到什么地步呢? 拿我自 ...
- 【进阶】ZooKeeper 相关概念总结
1. 开卷有益 学习是一种习惯,只有把这种习惯保持下来,每天不学习一点就感觉浑身不自在,达到这样的境界,那么你成为大佬也就不远了买,正如我们标题所写的"开卷有益".人生匆匆,要想过 ...
- zookeeper相关知识与集群搭建
Zookeeper Zookeeper相关概念 Zookeeper概述 Zookeeper是一个分布式协调服务的开源框架,主要用来解决分布式集群中应用系统的一致性问题. Zookeeper本质上是一个 ...
- 基于zookeeper实现分布式配置中心(二)
上一篇(基于zookeeper实现分布式配置中心(一))讲述了zookeeper相关概念和工作原理.接下来根据zookeeper的特性,简单实现一个分布式配置中心. 配置中心的优势 1.各环境配置集中 ...
- ZooKeeper相关资料集锦
1.ZooKeeper相关概念总结 https://github.com/Snailclimb/JavaGuide/blob/master/docs/system-design/framework/Z ...
- (1)Zookeeper在linux环境中搭建集群
1.简介 ZooKeeper是Apache软件基金会的一个软件项目,它为大型分布式计算提供开源的分布式配置服务.同步服务和命名注册.ZooKeeper的架构通过冗余服务实现高可用性.Zookeeper ...
- zookeeper 笔记-小结
1.zookeeper为分布式应用设计的分布式开源协调服务 2.分布式应用可以建立在同步配置管理,选举,分布式锁,分组和命名等服务的更高级别的实现基础上 3.znode维护数据,ACL时间戳等交换版本 ...
- Zookeeper运维小结--CancelledKeyException
https://www.jianshu.com/p/73eec030db86 项目中用到storm+kafka+zookeeper,在实际应用中zk和kafka常出问题,这里记录下在使用zk过程中的问 ...
- 类(class)相关概念小结
参考在线文档,整理php中类的相关概念如下 $this 在类的内部可以使用伪变量$this,这个伪变量为一个到主叫对象(经个人测试理解这应该是在运行时的真实对象,不是类,运行时绑定)的引用,所以一 ...
随机推荐
- 个人用户永久免费,可自动升级版Excel插件,使用VSTO开发,Excel催化剂安装过程详解及安装失败解决方法
因Excel催化剂用了VSTO的开发技术,并且为了最好的用户体验,用了Clickonce的布署方式(无需人工干预自动更新,让用户使用如浏览器访问网站一般,永远是最新的内容和功能).对安装过程有一定的难 ...
- java:选择排序法对数组排序
最近想练一练Java的算法,然后碰到LeetCode上一道从排序数组删除重复项的小题,刚开始没看到是从排序数组中,就乱写,其实要是排序树组,就比乱序的感觉上好写多了.然后就想回顾下冒泡法对数组排序,凭 ...
- 以for循环的方式了解var与let的区别
var是ES5定义变量的一种声明方式. let是ES6定义变量的一种声明方式---可定义局部变量,即定义块级作用域. 以下列简单的函数进行表现二者作用域的不同 在ES6之前,我们都是用var来声明变量 ...
- git commit规范化实践
最近从svn转到git进行代码版本控制,今天了解了git commit规范化的一些知识后,写此文章记录下配置过程. 环境 编辑器使用的是vscode,项目框架是vue3.0 规范化工具 规范化git ...
- PHP ErrorException 积累
ErrorException [不定时更新] ErrorException1: Undefined index: allocate 描述:PHP默认会对未声明变量进行提示,这种默认的提示是可以进行忽略 ...
- STL map 详细用法
Map是STL的一个关联容器,它提供一对一(其中第一个可以称为关键字,每个关键字只能在map中出现一次,第二个称为该关键字的值)的数据 处理能力. 需要的库 #include <map> ...
- Codeforces Round #192 (Div. 2) (330B) B.Road Construction
题意: 要在N个城市之间修建道路,使得任意两个城市都可以到达,而且不超过两条路,还有,有些城市之间是不能修建道路的. 思路: 要将N个城市全部相连,刚开始以为是最小生成树的问题,其实就是一道简单的题目 ...
- Guitar Pro如何更改五线谱的符杆方向
可能有的小伙伴不知道Guitar Pro是什么软件,我先稍微给大家介绍一下~ Guitar Pro是专为帮助所有吉他爱好者学习.绘谱.创作的多功能软件.它包含所有吉他的现有指法和音色,可以帮助我们了解 ...
- 【转载】【VSCode】Windows下VSCode编译调试c/c++
转载自:http://blog.csdn.net/c_duoduo/article/details/51615381 懒得自己配置或自己配置出现不明问题的朋友可以点这里: [VSCode]Window ...
- 我的ubuntu kylin中mentohust的使用历程
1首先下载mentohus 最新版下载(包括源码):http://code.google.com/p/mentohust/downloads/list 2打开终端(Ctrl+Alt+T) 输入sudo ...