分布式助手Zookeeper(三)
分布式助手Zookeeper(三)博客分类:
Zookeeper的Session: (1)客户端和server间采用长连接 (2)连接建立后,server产生session ID(64位)返还给客户端 (3)客户端定期发送ping包来检查和保持和server的连接 (4)一旦session结束或超时,所有ephemeral节点会被删除 (5)客户端可根据情况设置合适的session超时时间
Zookeeper的Watchs: Watch是客户端安装在server的事件侦听方法 (1) 当侦听的变化发生时,server发消息给客户端进行通知 (2) 客户端使用单线程对所有事件按顺序同步回调 (3) 触发回调条件: • 客户端连接、断开连接 • 节点数据发生改变 • 节点本身发生变化 (4)Watch是单发的,每次触发后会被自动删除 (5)如果需要再次侦听事件,必须重新安装watch (6)无法保证跟踪到每一个变化 (7)避免安装大量watches侦听在同一个节点
Zookeeper的一些注意事项: 在客户端事件回调实现有阻塞调用 • 试图跟踪每个状态变化 • 大量watch侦听同一个znode的状态变化 • 客户端会有需要长时间处理的GC(garbage collection) • Session超时后上层应用不进行恢复处理
可以把zookper看成一个文件系统,文件系统中的所有文件形成一个数状结构,zookeeper维护着这样的树形层次结构,树中的节点称为znode。每个znode有一个与之相关联的ACL(Access Control List) znode通过路径被引用,而且要采用绝对路径,即必须以/开头。znode存储的数据要小于1M,这个可以配置,建议不要存储太大的东西,避免同步操作时间过长。 znode类型 短暂znode:回话结束,zookeeper就会把短暂znode删除,短暂znode不可以有子节点。 持久znode:回话结束也不会被删除,除非客户端明确要删除此znode,持久znode可以有子节点。 对于在特定时刻需要知道有哪些分布式资源可用的应用来说,使用短暂znode比较合适。
znode的观察机制 znode以某种方式发生变化时,“观察”(watch)机制可以让客户端得到通知。可以针对ZooKeeper服务的“操作”来设置观察,该服务的其他操作可以触发观察。比如,客户端可以对某个客户端调用exists操作,同时在它上面设置一个观察,如果此时这个znode不存在,则exists返回false,如果一段时间之后,这个znode被其他客户端创建,则这个观察会被触发,之前的那个客户端就会得到通知。
zookeeper的一些基本操作如下:
| 操作 | 描述 | create | 创建一个znode(必须有父节点) | delete | 删除一个znode(该znode不能有任何子节点) | exists | 测试一个znode是否存在,并且查询它的元数据 | getACL,setACL | 获取/设置一个znode的ACL | getChildren | 获取一个znode的子节点名字列表 | getData,setData | 获取/设置一个znode所保存的数据 | sync | 将客户端的znode视图与ZooKeeper服务端同步 |
Zookeeper中的更新操作是有条件的。在使用delete或者setData操作时必须提供被更新znode的版本号,如果版本号不匹配,则更新操作失败。一般情况下设置-1即可。
API 目前主要有java和C两种客户端,每种操作都有同步和异步两种执行方式。 观察触发器 可以设置观察的操作:exists,getChildren,getData 可以触发观察的操作:create,delete,setData 下面给出一些事件截图: 



NodeCreated:节点创建事件 NodeDeleted:节点被删除事件 NodeDataChanged:节点数据改变事件 NodeChildrenChanged:节点的子节点改变事件
下面我们再来看下ACL(zookeeper的访问控制列表),每个znode被创建时都会带有一个ACL列表,用于决定谁可以对它执行何种操作。
| ACL权限 | 允许的操作 | CREATE | 创建节点create("name") | READ | getChildren() getData() | WRITE | setData | DELETE | delete("name")删除节点 | ADMIN | setACL()设置权限 |
每个ACL都是身份验证模式、符合该模式的一个身份和一组权限的组合。身份验证模式有三种: digest:用户名,密码
host:通过客户端的主机名来识别客户端
ip: 通过客户端的ip来识别客户端
所以我们可以类似这样构建一个ACL类: new ACL(Perms.READ,new Id("host","example.com")); 这个ACL对应的身份验证模式是host 符合该模式的身份是example.com 权限的组合是:READ 下面给出一个API连接zookeeper的示例:
package com.util; import java.util.concurrent.CountDownLatch; import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper; /**
* 测试zookeeper的连接
* @author 三劫散仙
*
* ***/
public class Test { public static void main(String[] args)throws Exception { ZooKeeper zk=new ZooKeeper("10.2.143.5:2181", 5000, new Watcher() {
CountDownLatch down=new CountDownLatch(1);//同步阻塞状态
@Override
public void process(WatchedEvent event) {
if(event.getState()==Event.KeeperState.SyncConnected){
down.countDown();//连接上之后,释放计数器
} }
}); System.out.println("连接成功:"+zk.toString());
zk.close();//关闭连接
} }
打印效果如下:
连接成功:State:CONNECTING sessionid:0x0 local:null remoteserver:null lastZxid:0 xid:1 sent:0 recv:0 queuedpkts:0 pendingresp:0 queuedevents:0
分布式助手Zookeeper(三)的更多相关文章
- 分布式助手Zookeeper(一)
分布式助手Zookeeper(一)博客分类: Zookeeper Zookeeper最早是Hadoop的一个子项目,主要为Hadoop生态系统中一些列组件提供统一的分布式协作服务,在2010年10 ...
- 分布式助手Zookeeper(四)
分布式助手Zookeeper(四)博客分类: Zookeeper zookeeper配置同步zookeeper编程 Zookeeper是分布式环境下一个重要的组件,因为它能在分布式环境下,给我带来很多 ...
- 分布式助手Zookeeper(二)
分布式助手Zookeeper(二)博客分类: Zookeeper zookeeperzookeeper的安装和配置观察者observer 散仙在上篇文章介绍了,zookeeper的一系列基础知识,如果 ...
- 分布式锁的三种实现方式 数据库、redis、zookeeper
版权声明: https://blog.csdn.net/wuzhiwei549/article/details/80692278 一.为什么要使用分布式锁 我们在开发应用的时候,如果需要对某一个共享变 ...
- 一步到位分布式开发Zookeeper实现集群管理
说到分布式开发Zookeeper是必须了解和掌握的,分布式消息服务kafka .hbase 到hadoop等分布式大数据处理都会用到Zookeeper,所以在此将Zookeeper作为基础来讲解. Z ...
- 实现分布式队列ZooKeeper的实现
一.背景 有一些时候,多个团队需要共同完成一个任务,比如,A团队将Hadoop集群计算的结果交给B团队继续计算,B完成了自己任务再交给C团队继续做.这就有点像业务系统的工作流一样,一环一环地传下去,直 ...
- 分布式队列ZooKeeper的实现
一.背景 有一些时候,多个团队需要共同完成一个任务,比如,A团队将Hadoop集群计算的结果交给B团队继续计算,B完成了自己任务再交给C团队继续做.这就有点像业务系统的工作流一样,一环一环地传下 去, ...
- 真分布式SolrCloud+Zookeeper+tomcat搭建、索引Mysql数据库、IK中文分词器配置以及web项目中solr的应用(1)
版权声明:本文为博主原创文章,转载请注明本文地址.http://www.cnblogs.com/o0Iris0o/p/5813856.html 内容介绍: 真分布式SolrCloud+Zookeepe ...
- zookeeper三种模式安装详解(centos 7+zookeeper-3.4.9)
zookeeper有单机.伪集群.集群三种部署方式,可根据自己实际情况选择合适的部署方式.下边对这三种部署方式逐一进行讲解. 一 单机模式 1.下载 进入要下载的版本的目录,选择.tar.gz文件下载 ...
随机推荐
- CDC 虚拟com口
现在很多电脑已经不带232了,特别是手提电脑.这使很多使用手提在外调试人员非常不方便.或许你可以买一条市面上usb转232转换线,但这些线抗干扰不是太好,在一些干扰大的地方会发生连接中断的问题,所以往 ...
- 将一个字符串映射为一个Delphi页面控件属性名(通过FindComponent和GetPropInfo找到这个控件指针)
uses TypInfo; function TForm1.SetControlProp(ComStr, value: string): boolean; var ComName, ComProp: ...
- vi/vim 基本使用
摘要: 在minicom终端里修改开发板中的文件时,必须要用到vi,因为开发板中并不像开发主机那样,有gedit和kscope这样的编辑器:还有,即便是在开发主机上,也会经常用到vi,因为vi使用起来 ...
- 基于Hadoop Sequencefile的小文件解决方案
一.概述 小文件是指文件size小于HDFS上block大小的文件.这样的文件会给hadoop的扩展性和性能带来严重问题.首先,在HDFS中,任何block,文件或者目录在内存中均以对象的形式存储,每 ...
- Nagios‘process_cgivars()’函数差一错误拒绝服务漏洞
漏洞名称: Nagios‘process_cgivars()’函数差一错误拒绝服务漏洞 CNNVD编号: CNNVD-201312-495 发布时间: 2013-12-27 更新时间: 2013-12 ...
- VM上成功安装mac os x
想必很多人在intel . AMD上安装苹果系统,总会遇到很多问题,今天我就将我成功安装的过程给大家分享一下. 下面是我在VM上安装的步骤: 1. 准备软件 OS X Snow Leopard 10. ...
- Android 中HttpClient和HttpURLConnection选取
原文地址:http://android-developers.blogspot.com/2011/09/androids-http-clients.html 译文:http://yunfeng.sin ...
- 万科北京区域V-learn发布 系V-LINK产品系中首批产品
继今年4月发布了V-LINK万科社区服务商2.0升级版本后,万科北京区域再次迎来了品牌大动作.近日,北京万科正式发布“V-LINK”产品系中的首批产品“V-learn”相关战略. 全品类教育模式 据介 ...
- HDU 4417 Super Mario 主席树
分析:找一个区间里小于等于h的数量,然后这个题先离散化一下,很简单 然后我写这个题主要是熟悉一下主席树,其实这个题完全可以离线做,很简单 但是学了主席树以后,我发现,在线做,一样简单,而且不需要思考 ...
- C#替换双引号
context = context.Replace(@"""", "");