ZooKeeper实现同步屏障(Barrier)

按照维基百科的解释：同步屏障(Barrier)是并行计算中的一种同步方法。对于一群进程或线程，程序中的一个同步屏障意味着任何线程/进程执行到此后必须等待，直到所有线程/进程都到达此点才可继续执行下文。

在ZK官网https://zookeeper.apache.org/doc/current/zookeeperTutorial.html ，提供了一个示例实现，但这个例子比较复杂，代码同时包括了Barrier和Queue两种实现，对例子做了修改，仅介绍Barrier的实现。

使用请客吃饭的场景：一张桌子坐四个人，四个人都到齐后，才能开饭；四个人都吃完以后，才能离开。

1 实现原理

为一个餐桌创建一个节点如/table-3，每一个客人是它的一个子节点/table-3/张三。所有客人都监听/table-3的事件，收到事件后检查子节点个数，如果达到要求的人数就开饭；当吃完以后，删除自己的子节点，并继续监听/table-3的事件，当子节点个数为0时，退出程序。

2 客人落座

落座的流程分两步：首先，创建自己的子节点；然后，等待其他客人落座直到坐满。创建客人子节点时CreateMode使用的是CreateMode.EPHEMERAL，这是属于当前zk会话的节点，当会话关闭时，如果节点没有删除，ZK会自动删除。

String nodeName = tableSerial + "/" + customerName;

log.info("{}: 自己坐下来 {}", customerName, nodeName);

zk.create(nodeName, new byte[0], Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL);

while (true) {

synchronized (mutex) {

// 读出子节点列表，并继续监听

List<String> list = zk.getChildren(tableSerial, true);

if (list.size() < tableCapacity) {

log.info("{}: 当前人数 = {} , 总人数 = {}, 人还不够: 吃饭不积极，一定有问题...", customerName,

list.size(), tableCapacity);

mutex.wait();

} else {

log.info("{}: 人终于够了，开饭...", customerName);

return true;

}

3 客人准备离开

客人准备离开的逻辑同落座类似，首先删除自己的子节点，然后判断是否所有的子节点都已经被删除。删除子节点时，直接设置版本号为0，这是因为在这个示例中创建后没有修改过数据。真实业务场景，应该先读出zk中数据的版本号，然后作为参数传入到delete命令。

String nodeName = tableSerial + "/" + customerName;

log.info("{}: 已经吃完，准备离席，删除节点 {}", customerName, nodeName);

zk.delete(nodeName, 0);

while (true) {

// 读出子节点列表，并继续监听

List<String> list = zk.getChildren(tableSerial, true);

if (list.size() > 0) {

log.info("{}: 还有 {} 人没吃完，你们吃快点...", customerName, list.size());

synchronized (mutex) {

mutex.wait();

}

} else {

log.info("{}: 所有人都吃完了，准备散伙", customerName);

return true;

}

4 尝试用Stat获取子节点个数

代码中使用getChildren获取子节点列表，然后统计个数。ZooKeeper还有另一个方法也能获取子节点数：org.apache.zookeeper.data.Stat#numChildren。

将代码leave修改为

String nodeName = tableSerial + "/" + customerName;

log.info("{}: 已经吃完，准备离席，删除节点 {}", customerName, nodeName);

zk.delete(nodeName, 0);

while (true) {

// 使用Stat判断子节点个数

Stat tableStat = new Stat();

zk.getData(tableSerial, true, tableStat);

if (tableStat.getNumChildren() > 0) {

log.info("{}: 还有 {} 人没吃完，你们吃快点...", customerName, tableStat.getNumChildren());

synchronized (mutex) {

mutex.wait();

}

} else {

log.info("{}: 所有人都吃完了，准备散伙", customerName);

return true;

}

运行后发现：能够读出子节点个数，但再也无法监听 EventType.NodeChildrenChanged事件，这是ZooKeeper的监听机制决定的。网上搜索到 https://my.oschina.net/u/587108/blog/484203 有介绍，可以自己看一下。简单说就是：

getData()和exists()会监听节点自己的NodeCreated、NodeDeleted、NodeDataChanged事件；getChildren()会监听节点的NodeChildrenChanged事件。

5 完整源码

这个例子没有使用main()函数，改为创建一个 testng 测试用例启动。

5.1 ZooKeeperBarrier.java

package tech.codestory.zookeeper.barrier;

import java.io.IOException;

import java.util.List;

import java.util.concurrent.CountDownLatch;

import org.apache.zookeeper.*;

import org.apache.zookeeper.ZooDefs.Ids;

import org.apache.zookeeper.data.Stat;

import org.slf4j.profiler.Profiler;

import lombok.extern.slf4j.Slf4j;

/**

* @author junyongliao

* @date 2019/8/13

* @since 1.0.0

@Slf4j

public class ZooKeeperBarrier implements Watcher {

/** 等待连接建立成功的信号 */

CountDownLatch connectedSemaphore = new CountDownLatch(1);

/** ZooKeeper 客户端 static */

ZooKeeper zk = null;

/** 子节点发生变化的信号 static */

Integer mutex;

/** 避免重复构建餐桌 */

static Integer tableSerialInitial = Integer.valueOf(1);

/** 餐桌容量 */

int tableCapacity;

/** 餐桌编号 */

String tableSerial;

/** 客人姓名 */

String customerName;

/**

* 构造函数，用于创建zk客户端，以及记录记录barrier的名称和容量

* @param address ZooKeeper服务器地址

* @param tableSerial 餐桌编号

* @param tableCapacity 餐桌容量

* @param customerName 客人姓名

ZooKeeperBarrier(String address, String tableSerial, int tableCapacity, String customerName) {

this.tableSerial = tableSerial;

this.tableCapacity = tableCapacity;

this.customerName = customerName;

try {

Profiler profiler = new Profiler(customerName + " 连接到ZooKeeper");

profiler.start("开始连接");

zk = new ZooKeeper(address, 3000, this);

profiler.start("等待连接成功的Event");

connectedSemaphore.await();

profiler.stop();

profiler.setLogger(log);

profiler.log();

mutex = Integer.valueOf(-1);

} catch (IOException e) {

log.error("IOException", e);

zk = null;

} catch (InterruptedException e) {

log.error("InterruptedException", e);

}

synchronized (tableSerialInitial) {

// 创建 tableSerial 的zNode

try {

Stat existsStat = zk.exists(tableSerial, false);

if (existsStat == null) {

this.tableSerial = zk.create(tableSerial, new byte[0], Ids.OPEN_ACL_UNSAFE,

CreateMode.PERSISTENT);

}

} catch (KeeperException e) {

log.error("KeeperException", e);

} catch (InterruptedException e) {

log.error("InterruptedException", e);

}

@Override

public void process(WatchedEvent event) {

if (Event.EventType.None.equals(event.getType())) {

// 连接状态发生变化

if (Event.KeeperState.SyncConnected.equals(event.getState())) {

// 连接建立成功

connectedSemaphore.countDown();

}

} else if (Event.EventType.NodeChildrenChanged.equals(event.getType())) {

log.info("{} 接收到了通知 : {}", customerName, event.getType());

// 子节点有变化

synchronized (mutex) {

mutex.notify();

}

/**

* 客人坐在饭桌上

* @return 当等到餐桌坐满时返回 true

* @throws KeeperException

* @throws InterruptedException

boolean enter() throws KeeperException, InterruptedException {

String nodeName = tableSerial + "/" + customerName;

log.info("{}: 自己坐下来 {}", customerName, nodeName);

// 属于客人自己的节点，如果会话结束没删掉会自动删除

zk.create(nodeName, new byte[0], Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL);

while (true) {

synchronized (mutex) {

// 读出子节点列表，并继续监听

List<String> list = zk.getChildren(tableSerial, true);

if (list.size() < tableCapacity) {

log.info("{}: 当前人数 = {} , 总人数 = {}, 人还不够: 吃饭不积极，一定有问题...", customerName,

list.size(), tableCapacity);

mutex.wait();

} else {

log.info("{}: 人终于够了，开饭...", customerName);

return true;

}

/**

* 客人吃完饭了，可以离开

* @return 所有客人都吃完，再返回true

* @throws KeeperException

* @throws InterruptedException

boolean leave() throws KeeperException, InterruptedException {

String nodeName = tableSerial + "/" + customerName;

log.info("{}: 已经吃完，准备离席，删除节点 {}", customerName, nodeName);

zk.delete(nodeName, 0);

while (true) {

// 读出子节点列表，并继续监听

List<String> list = zk.getChildren(tableSerial, true);

if (list.size() > 0) {

log.info("{}: 还有 {} 人没吃完，你们吃快点...", customerName, list.size());

synchronized (mutex) {

mutex.wait();

}

} else {

log.info("{}: 所有人都吃完了，准备散伙", customerName);

return true;

}

5.2 ZooKeeperBarrierTest.java

package tech.codestory.zookeeper.barrier;

import lombok.extern.slf4j.Slf4j;

import org.apache.zookeeper.KeeperException;

import org.testng.annotations.Test;

import java.security.SecureRandom;

import java.util.Random;

import java.util.concurrent.CountDownLatch;

import static org.testng.Assert.*;

/**

* 测试 ZooKeeperBarrier

* @author code story

* @date 2019/8/15

@Slf4j

public class ZooKeeperBarrierTest {

Random random = new SecureRandom();

@Test

public void testBarrierTest() {

/** 等待连接建立成功的信号 */

String address = "192.168.5.128:2181";

String barrierName = "/table-" + random.nextInt(10);

int barrierSize = 4;

CountDownLatch countDown = new CountDownLatch(barrierSize);

String[] customerNames = {"张三", "李四", "王五", "赵六"};

for (int i = 0; i < barrierSize; i++) {

String customerName = customerNames[i];

new Thread() {

@Override

public void run() {

log.info("{}: 准备吃饭", customerName);

ZooKeeperBarrier barrier =

new ZooKeeperBarrier(address, barrierName, barrierSize, customerName);

try {

boolean flag = barrier.enter();

log.info("{}: 坐在了可以容纳 {} 人的饭桌", customerName, barrierSize);

if (!flag) {

log.info("{}: 想坐在饭桌时出错了", customerName);

}

} catch (KeeperException e) {

log.error("KeeperException", e);

} catch (InterruptedException e) {

log.error("InterruptedException", e);

}

// 假装在吃饭，随机时间

randomWait();

// 假装吃完了，离开barrier

try {

barrier.leave();

} catch (KeeperException e) {

log.error("KeeperException", e);

} catch (InterruptedException e) {

log.error("InterruptedException", e);

}

countDown.countDown();

}

}.start();

// 等一会儿再开始下一个进程

randomWait();

}

try {

countDown.await();

log.info("这一桌吃完了，散伙");

} catch (InterruptedException e) {

log.error("InterruptedException", e);

}

/** 随机等待 */

private void randomWait() {

int r = random.nextInt(100);

for (int j = 0; j < r; j++) {

try {

Thread.sleep(100);

} catch (InterruptedException e) {

log.error("InterruptedException", e);

}

6 测试日志

如下是测试日志

33:34.198 [INFO] ZooKeeperBarrierTest.run(36) 张三: 准备吃饭

33:40.497 [INFO] ZooKeeperBarrierTest.run(36) 李四: 准备吃饭

33:43.333 [DEBUG] ZooKeeperBarrier.log(201)

+ Profiler [张三连接到ZooKeeper]

|-- elapsed time [开始连接] 71.684 milliseconds.

|-- elapsed time [等待连接成功的Event] 9046.279 milliseconds.

|-- Total [张三连接到ZooKeeper] 9118.483 milliseconds.

33:43.346 [INFO] ZooKeeperBarrier.enter(110) 张三: 自己坐下来 /table-2/张三

33:43.353 [INFO] ZooKeeperBarrier.enter(118) 张三: 当前人数 = 1 , 总人数 = 4, 人还不够: 吃饭不积极，一定有问题...

33:49.515 [DEBUG] ZooKeeperBarrier.log(201)

+ Profiler [李四连接到ZooKeeper]

|-- elapsed time [开始连接] 4.365 milliseconds.

|-- elapsed time [等待连接成功的Event] 9011.503 milliseconds.

|-- Total [李四连接到ZooKeeper] 9015.873 milliseconds.

33:49.520 [INFO] ZooKeeperBarrier.enter(110) 李四: 自己坐下来 /table-2/李四

33:49.528 [INFO] ZooKeeperBarrier.process(93) 张三接收到了通知 : NodeChildrenChanged

33:49.528 [INFO] ZooKeeperBarrier.enter(118) 李四: 当前人数 = 2 , 总人数 = 4, 人还不够: 吃饭不积极，一定有问题...

33:49.532 [INFO] ZooKeeperBarrier.enter(118) 张三: 当前人数 = 2 , 总人数 = 4, 人还不够: 吃饭不积极，一定有问题...

33:50.107 [INFO] ZooKeeperBarrierTest.run(36) 王五: 准备吃饭

33:50.307 [INFO] ZooKeeperBarrierTest.run(36) 赵六: 准备吃饭

33:59.122 [DEBUG] ZooKeeperBarrier.log(201)

+ Profiler [王五连接到ZooKeeper]

|-- elapsed time [开始连接] 4.956 milliseconds.

|-- elapsed time [等待连接成功的Event] 9008.505 milliseconds.

|-- Total [王五连接到ZooKeeper] 9013.468 milliseconds.

33:59.125 [INFO] ZooKeeperBarrier.enter(110) 王五: 自己坐下来 /table-2/王五

33:59.128 [INFO] ZooKeeperBarrier.process(93) 张三接收到了通知 : NodeChildrenChanged

33:59.132 [INFO] ZooKeeperBarrier.process(93) 李四接收到了通知 : NodeChildrenChanged

33:59.133 [INFO] ZooKeeperBarrier.enter(118) 李四: 当前人数 = 3 , 总人数 = 4, 人还不够: 吃饭不积极，一定有问题...

33:59.135 [INFO] ZooKeeperBarrier.enter(118) 王五: 当前人数 = 3 , 总人数 = 4, 人还不够: 吃饭不积极，一定有问题...

33:59.136 [INFO] ZooKeeperBarrier.enter(118) 张三: 当前人数 = 3 , 总人数 = 4, 人还不够: 吃饭不积极，一定有问题...

33:59.335 [DEBUG] ZooKeeperBarrier.log(201)

+ Profiler [赵六连接到ZooKeeper]

|-- elapsed time [开始连接] 10.184 milliseconds.

|-- elapsed time [等待连接成功的Event] 9014.981 milliseconds.

|-- Total [赵六连接到ZooKeeper] 9025.175 milliseconds.

33:59.339 [INFO] ZooKeeperBarrier.enter(110) 赵六: 自己坐下来 /table-2/赵六

33:59.343 [INFO] ZooKeeperBarrier.process(93) 张三接收到了通知 : NodeChildrenChanged

33:59.345 [INFO] ZooKeeperBarrier.enter(122) 赵六: 人终于够了，开饭...

33:59.346 [INFO] ZooKeeperBarrierTest.run(41) 赵六: 坐在了可以容纳 4 人的饭桌

33:59.346 [INFO] ZooKeeperBarrier.process(93) 王五接收到了通知 : NodeChildrenChanged

33:59.346 [INFO] ZooKeeperBarrier.process(93) 李四接收到了通知 : NodeChildrenChanged

33:59.348 [INFO] ZooKeeperBarrier.enter(122) 王五: 人终于够了，开饭...

33:59.348 [INFO] ZooKeeperBarrierTest.run(41) 王五: 坐在了可以容纳 4 人的饭桌

33:59.350 [INFO] ZooKeeperBarrier.enter(122) 李四: 人终于够了，开饭...

33:59.350 [INFO] ZooKeeperBarrierTest.run(41) 李四: 坐在了可以容纳 4 人的饭桌

33:59.352 [INFO] ZooKeeperBarrier.enter(122) 张三: 人终于够了，开饭...

33:59.352 [INFO] ZooKeeperBarrierTest.run(41) 张三: 坐在了可以容纳 4 人的饭桌

33:59.646 [INFO] ZooKeeperBarrier.leave(138) 赵六: 已经吃完，准备离席，删除节点 /table-2/赵六

33:59.650 [INFO] ZooKeeperBarrier.process(93) 赵六接收到了通知 : NodeChildrenChanged

33:59.651 [INFO] ZooKeeperBarrier.process(93) 张三接收到了通知 : NodeChildrenChanged

33:59.652 [INFO] ZooKeeperBarrier.leave(144) 赵六: 还有 3 人没吃完，你们吃快点...

33:59.652 [INFO] ZooKeeperBarrier.process(93) 李四接收到了通知 : NodeChildrenChanged

33:59.652 [INFO] ZooKeeperBarrier.process(93) 王五接收到了通知 : NodeChildrenChanged

33:59.654 [INFO] ZooKeeperBarrier.leave(144) 赵六: 还有 3 人没吃完，你们吃快点...

34:04.356 [INFO] ZooKeeperBarrier.leave(138) 王五: 已经吃完，准备离席，删除节点 /table-2/王五

34:04.361 [INFO] ZooKeeperBarrier.process(93) 赵六接收到了通知 : NodeChildrenChanged

34:04.363 [INFO] ZooKeeperBarrier.leave(144) 王五: 还有 2 人没吃完，你们吃快点...

34:04.363 [INFO] ZooKeeperBarrier.leave(144) 赵六: 还有 2 人没吃完，你们吃快点...

34:05.958 [INFO] ZooKeeperBarrier.leave(138) 张三: 已经吃完，准备离席，删除节点 /table-2/张三

34:05.963 [INFO] ZooKeeperBarrier.process(93) 王五接收到了通知 : NodeChildrenChanged

34:05.961 [INFO] ZooKeeperBarrier.leave(138) 李四: 已经吃完，准备离席，删除节点 /table-2/李四

34:05.967 [INFO] ZooKeeperBarrier.leave(144) 张三: 还有 1 人没吃完，你们吃快点...

34:05.968 [INFO] ZooKeeperBarrier.process(93) 赵六接收到了通知 : NodeChildrenChanged

34:05.971 [INFO] ZooKeeperBarrier.process(93) 张三接收到了通知 : NodeChildrenChanged

34:05.973 [INFO] ZooKeeperBarrier.leave(149) 赵六: 所有人都吃完了，准备散伙

34:05.981 [INFO] ZooKeeperBarrier.leave(149) 王五: 所有人都吃完了，准备散伙

34:05.982 [INFO] ZooKeeperBarrier.leave(149) 张三: 所有人都吃完了，准备散伙

34:05.983 [INFO] ZooKeeperBarrier.leave(149) 李四: 所有人都吃完了，准备散伙

34:05.985 [INFO] ZooKeeperBarrierTest.testBarrierTest(72) 这一桌吃完了，散伙