2. ZooKeeper基础

1. ZooKeeper的特性

ZooKeeper的特性主要从会话、数据节点，版本，Watcher，ACL权限控制，集群角色这些部分来了解，其中需要重点掌握的数据节点与Watcher

1.1 会话

客户端与服务端的一次会话连接，本质是TCP长连接，通过会话可以进行心跳检测和数据传输

会话（session）是zookepper非常重要的概念，客户端和服务端之间的任何交互操作都与会话有关

会话状态

根据上图，ZooKeeper客户端和服务端成功连接后，就创建了一次会话，ZooKeeper会话在整个运行期间的生命周期中，会在不同的会话状态之间切换，这些状态包括：

CONNECTING、CONNECTED、RECONNECTING、RECONNECTED、CLOSE

一旦客户端开始创建ZooKeeper对象，那么客户端状态就会变成CONNECTING状态，同时客户端开始尝试连接服务端，连接成功后，客户端状态变为CONNECTED，通常情况下，由于断网或其他原因，客户端与服务端之间会出现断开情况，一旦碰到这种情况，ZooKeeper客户端会自动进行重连服务，同时客户端状态再次变成CONNECTING，直到重新连上服务端后，状态又变为CONNECTED，在通常情况下，客户端的状态总是介于CONNECTING和CONNECTED之间。但是，如果出现诸如会话超时、权限检查或是客户端主动退出程序等情况，客户端的状态就会直接变更为CLOSE状态

1.2 数据模型

　　ZooKeeper的视图结构和标准的Unix文件系统类似，其中每个节点称为“数据节点”或ZNode,每个ZNode可以存储数据，还可以挂载子节点，因此可以称之为“树”；第二点需要注意的是，每一个znode都必须有值，如果没有值，节点是不能创建成功的

• 在ZooKeeper中,ZNode是一个跟Unix文件系统路径相似的节点，可以往这个节点存储或获取数据
• 通过客户端可对ZNode进行增删改查的操作，还可以注册watcher监控ZNode的变化

1.3 ZooKeeper节点类型

1. Znode有两种类型

• 短暂（ephemeral）（create -e /app1/test1 “test1” 客户端断开连接zk删除ephemeral类型节点）
• 持久（persistent） （create -s /app1/test2 “test2” 客户端断开连接zk不删除persistent类型节点）

　　临时节点不能创建子节点

2. Znode有四种形式的目录节点（默认是persistent ）

• PERSISTENT
• PERSISTENT_SEQUENTIAL（持久序列/test0000000019 ）
• EPHEMERAL
• EPHEMERAL_SEQUENTIAL

3. 创建znode时设置顺序标识，znode名称后会附加一个值，顺序号是一个单调递增的计数器，由父节点维护

4. 在分布式系统中，顺序号可以被用于为所有的事件进行全局排序，这样客户端可以通过顺序号推断事件的顺序

1.4 ZooKeeper节点状态属性

属性	数据结构	描述
zxid	long	致使ZooKeeper节点状态改变的每一个操作都将使节点接收到一个zxid格式的时间戳
czxid	long	节点被创建的时间对应zxid格式的时间戳
mzxid	long	节点被修改的时间对应zxid格式的时间戳【与子节点无关】
pzxid	long	子节点最近一次创建/修改的时间对应zxid格式的时间戳【和孙子节点无关】
ctime	long	节点被创建的时间
mtime	long	节点最后一次被修改的时间
version	long	节点被修改产生的版本号
cversion	long	子节点被修改产生的版本号
aversion	long	节点的ACL被修改的版本号
emphemeralOwner	long	如果此节点为临时节点，那么它的值为这个节点拥有者的会话ID；否则，它的值为0
dataLength	int	节点数据域的长度
numChildren	int	节点拥有子节点的个数

1.5 ACL权限控制机制

ACL机制，表示为scheme:id:permissions，第一个字段表示授权策略，第二个id表示授权对象，permissions表示授予的权限（如只读，读写，管理等）

1.5.1 scheme：授权策略

• world：只有一个id叫做anyone，world:anyone对应任何人，在zookeeper中表示所有人都有权限的节点
• auth：id一般是username:password，代表已经认证通过的用户(可以通过addauth digest user:pwd 来添加授权用户)
• digest：它对应的id为username:BASE64(SHA1(password))，它需要先通过username:password形式的authentication
• ip：使用IP地址认证，id一般是客户机的ip地址

1.5.2 id：授权对象

• world策略的id只能是anyone
• auth策略的id一般是username:password
• digest策略的id是username:BASE64(SHA1(password))
• ip策略的id就是客户端的IP地址

1.5.3 permissions：授予的权限

CREATE【增】、READ【读】、WRITE【写、修改】、DELETE【删】、ADMIN【管理、授权】，简写即crwda

• CREATE【c】：创建子节点的权限
• READ【r】：读取节点数据的权限
• WRITE【w】：修改节点数据的权限
• DELETE【d】：删除子节点的权限
• ADMIN【a】：给子节点授权的权限

1.6  Watcher监听机制

　　Watcher 监听机制是 Zookeeper 中非常重要的特性，我们基于 zookeeper 上创建的节点，可以对这些节点绑定监听事件，比如可以监听节点数据变更、节点删除、子节点状态变更等事件，通过这个事件机制，可以基于 zookeeper实现分布式锁、集群管理等功能

watcher 特性

• 当数据发生变化的时候， zookeeper 会产生一个 watcher 事件，并且会发送到客户端。但是客户端只会收到一次通知
• 如果后续这个节点再次发生变化，那么之前设置 watcher 的客户端不会再次收到消息。watcher 是一次性的操作，可以通过循环监听去达到永久监听效果

如何注册事件机制

• ZooKeeper 的 Watcher 机制，总的来说可以分为三个过程：客户端注册 Watcher、服务器处理 Watcher 和客户端回调 Watcher客户端
• 注册 watcher 有 3 种方式，getData、exists、getChildren

2. ZooKeeper的常用命令

2.1 服务端

通过bin目录下的zkServer.sh脚本进行服务端的相关操作

• 启动服务：./zkServer.sh start
• 服务状态查看：./zkServer.sh status
• 停止服务
• 重启服务

　　

2.2 客户端

连接zookeeper服务：./zkCli.sh -server ip:port，连接成功后，系统会输出ZooKeeper 的相关环境以及配置信息

节点其实就是一个目录、文件

2.2.1 create [-e] [-s] path data [acl]

创建节点

1. 不加参数是创建持久节点

2. 使用-e参数创建一个临时节点

3. 使用-s参数创建一个有序号的节点

4. 使用acl参数创建节点时，给节点授予指定权限【crwda】

2.2.2 ls path　　

使用ls命令查看ZooKeeper的path路径下包含的节点。ls /是查看zookeeper根目录下的所有节点

2.2.3 ls2 path

查看path路径下的所有节点，并且显示出当前节点path的一些状态信息

2.2.4 get path [watch]

查看节点内容

可以使用watch设置监听，下一次写操作【修改、删除、设置子节点】时触发监听，但是只能生效一次

2.2.5 set path

修改path节点内容

2.2.6 delete path

删除path节点

2.2.7 rmr path

递归删除

path节点如果有子节点使用delete命令就不能删除了，这时就可以使用rmr命令了

2.2.8 其他一些常用命令

quit　　退出客户端

help　　帮助命令

2.3 ACL权限控制

ZooKeeper的ACL(Access Control List)，分为三个维度：scheme、id、permission。通常表示为：scheme:id:permission

• schema:代表授权策略。world、auth、digest、ip
• id:代表用户
  • world对应id：anyone
  • auth对应id：username:password
  • digest对应id：username:BASE64(SHA1(password))
  • ip对应id：客户端ip地址
• permission:代表权限。CREATE、READ、WRITE、DELETE、ADMIN，简写crwda

2.3.1 getAcl命令

获取指定节点的ACL信息

2.3.2 setAcl命令

设置指定节点的ACL信息

2.3.3 addauth命令

addauth digest username:pwd;

注册会话授权信息

常用授权方式有两种，auth和digest

2.3.3.1 auth

授权前必须使用addauth添加一个用户，否则会报错

由于/test/children01节点没有d的权限，所以无法删除/test/children01/testa节点

断开客户端重新连接测试：

需要重新新增权限才可以访问

2.3.3.2 digest

auth与digest的区别就是，前者使用明文密码进行登录，后者使用密文密码进行登录

注意：这里如果使用明文，会导致该znode不可访问

这里密文的获取可以使用如下方式：

java -Djava.ext.dirs=/soft/zookeeper/lib -cp /soft/zookeeper/zookeeper-3.4.12.jar org.apache.zookeeper.server.auth.DigestAuthenticationProvider user1:123456

 断开客户端重新连接：

需要添加用户认证才可以使用

2.3.4 acl命令ip

2.3.5 acl设置r权限，无法删除

setAcl权限的时候由于失误，导致节点无法删除

create /test/node1  enjoy

setAcl /test  world:anyone:r

这个时候无论是delete 还是rmr都没有权限删除

解决方式:启用super权限

   使用DigestAuthenticationProvider.generateDigest("super:admin"); 获得密码

　　1. 修改zkServer启动脚本增加

　　　　"-Dzookeeper.DigestAuthenticationProvider.superDigest=super:xQJmxLMiHGwaqBvst5y6rkB6HQs="

　　2. 启动客户端用管理员登陆

  　　 　　addauth digest super:admin

2.4 常用四字命令

ZooKeeper 支持某些特定的四字命令字母与其的交互。用来获取 ZooKeeper 服务的当前状态及相关信息。可通过 telnet 或 nc 向 ZooKeeper 提交相应的命令

echo stat|nc 127.0.0.1 2181	查看哪个节点被选择作为follower或者leader
echo ruok|nc 127.0.0.1 2181	测试是否启动了该Server，若回复imok表示已经启动
echo conf | nc 127.0.0.1 2181	输出相关服务配置的详细信息
echo reqs | nc 127.0.0.1 2181	列出未经处理的请求
echo wchs | nc 127.0.0.1 2181	列出服务器 watch 的详细信息
echo kill | nc 127.0.0.1 2181	关掉server