分布式服务协调员zookeeper - 应用场景和监控

zookeeper在分布式系统中作为协调员的角色，可应用于Leader选举、分布式锁、配置管理等服务的实现。以下我们从zookeeper提供的API、应用场景和监控三方面学习和了解zookeeper（以下简称ZK）。

ZK API

ZK以Unix文件系统树结构的形式管理存储的数据，图示如下：

其中每个树节点被称为znode，每个znode类似一个文件，包含文件元信息(meta data)和数据。

以下我们用server表示ZK服务的提供方，client表示ZK服务的使用方，当client连接ZK时，相应创建session会话信息。

有两种类型的znode：

Regular: 该类型znode只能由client端显式创建或删除

Ephemeral: client端可创建或删除该类型znode；当session终止时，ZK亦会删除该类型znode

znode创建时还可以被打上sequential标志，被打上该标志的znode，将自行加上自增的数字后缀

ZK提供了以下API，供client操作znode和znode中存储的数据：

• create(path, data, flags)：创建路径为path的znode，在其中存储data[]数据，flags可设置为Regular或Ephemeral，并可选打上sequential标志。
• delete(path, version)：删除相应path/version的znode
• exists(path,watch)：如果存在path对应znode，则返回true；否则返回false，watch标志可设置监听事件
• getData(path, watch)：返回对应znode的数据和元信息（如version等）
• setData(path, data, version)：将data[]数据写入对应path/version的znode
• getChildren(path, watch)：返回指定znode的子节点集合

ZK应用场景

基于以上ZK提供的znode和znode数据的操作，可轻松实现Leader选举、分布式锁、配置管理等服务。

Leader选举

利用打上sequential标志的Ephemeral，我们可以实现Leader选举。假设需要从三个client中选取Leader，实现过程如下：

1、各自创建Ephemeral类型的znode，并打上sequential标志：

[zk: localhost:(CONNECTED) ] ls /master
[lock-, lock-, lock-]

2、检查 /master 路径下的所有znode，如果自己创建的znode序号最小，则认为自己是Leader；否则记录序号比自己次小的znode

3、非Leader在次小序号znode上设置监听事件，并重复执行以上步骤2

假如以上 /master/lock-0000000241节点被删除（相应client服务异常或网络异常等原因），那么 /master/lock-0000000242相应的znode将提升自己为Leader。client只关心自己创建的znode和序号次小的znode，这避免了惊群效应(Herd Effect)。

分布式锁的实现与以上Leader选举的实现相同，稍作修改，我们还可以基于ZK实现lease机制（有期限的授权服务）。

配置管理

znode可以存储数据，基于这一点，我们可以用ZK实现分布式系统的配置管理，假设有服务A，A扩容设备时需要将相应新增的ip/port同步到全网服务器的A.conf配置，实现过程如下：

1、A扩容时，相应在ZK上新增znode，该znode数据形式如下：

[zk: localhost:(CONNECTED) ] get /A/blk-
{"svr_info": [{"ip": "1.1.1.1.", "port": ""}]}
cZxid = 0x2ffdeda3be
……

2、全网机器监听 /A，当该znode下有新节点加入时，调用相应处理函数，将服务A的新增ip/port加入A.conf

3、完成步骤2后，继续设置对 /A监听

服务缩容的步骤类似，机器下线时将ZK相应节点删除，全网机器监听到该事件后将配置中的设备剔除。

ZK监控

ZK自身提供了一些“四字命令”，通过这些四字命令，我们可以获得ZK集群中，某台ZK的角色、znode数、健康状态等信息：

# echo "mntr" | /usr/bin/netcat 127.0.0.1
zk_version      3.4.-, built on // : GMT
zk_packets_received
zk_packets_sent
zk_outstanding_requests
zk_server_state follower
zk_znode_count  

常用的四字命令有：

• mntr：显示自身角色、znode数、平均调用耗时、收包发包数等信息
• ruok：诊断自身状态是否ok
• cons：展示当前的client连接

像不能问一个醉酒的人是否喝醉一样，我们也不能确信一台回复"imok"的ZK就是真的ok，我们可以通过ZK自带的zkCli.sh模拟client创建/删除znode：

/usr/local/zookeeper/bin/zkCli.sh create /zookeeper/test 'test' >/dev/null >&
/usr/local/zookeeper/bin/zkCli.sh delete /zookeeper/test >/dev/null >&

再根据返回值判断添加、删除znode是否成功，从而判断该台ZK状态是否正常。

小结

zookeeper以目录树的形式管理数据，提供znode监听、数据设置等接口，基于这些接口，我们可以实现Leader选举、配置管理、命名服务等功能。结合四字命令，加上模拟zookeeper client 创建/删除znode，我们可以实现对zookeeper的有效监控。在各种分布式系统中，我们经常可以看到zookeeper的身影。

Reference: ZooKeeper: Wait-free coordination for Internet-scale systems