分布式服务协调技术zookeeper笔记

本文主要学习ZooKeeper的体系结构、节点类型、节点监听、常用命令等基础知识，最后还学习了ZooKeeper的高可用集群的搭建与测试。希望能给想快速掌握ZooKeeper的同学有所帮助。

ZooKeeper简介与安装

ZooKeeper是一个分布式协调服务框架，通常用于解决分布式项目中遇到的一些管理协调的问题，如统一命名服务、分布式配置管理，分布式锁、集群节点状态协调等等。

下载

到http://apache.fayea.com/zookeeper/下载zookeeper-3.4.9，ftp上传至linux

解压

[root@localhost ftpuser]# tar -zxvf zookeeper-3.4.9.tar.gz

创建数据日志目录

在zookeeper的解压目录下创建以下两个文件夹

[root@localhost zookeeper-3.4.9]# mkdir data

[root@localhost zookeeper-3.4.9]# mkdir logs

拷贝配置文件

到zookeeper的解压目录的conf目录下，将zoo_sample.cfg 文件拷贝一份，命名为为 zoo.cfg

[root@localhost conf]# cp zoo_sample.cfg zoo.cfg

修改配置文件

[root@localhost conf]# vi zoo.cfg

# The number of milliseconds of each tick

tickTime=2000

# The number of ticks that the initial

# synchronization phase can take

initLimit=10

# The number of ticks that can pass between

# sending a request and getting an acknowledgement

syncLimit=5

# the directory where the snapshot is stored.

# do not use /tmp for storage, /tmp here is just

# synchronization phase can take

initLimit=10

# The number of ticks that can pass between

# sending a request and getting an acknowledgement

syncLimit=5

# the directory where the snapshot is stored.

# do not use /tmp for storage, /tmp here is just

# example sakes.

dataDir=/home/ftpuser/zookeeper-3.4.9/data

dataLogDir=/home/ftpuser/zookeeper-3.4.9/logs

# the port at which the clients will connect

clientPort=2181

server.1=192.168.2.129:2888:3888

# the maximum number of client connections.

# increase this if you need to handle more clients

#maxClientCnxns=60

#

# Be sure to read the maintenance section of the

# administrator guide before turning on autopurge.

#

# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance

#

# The number of snapshots to retain in dataDir

#autopurge.snapRetainCount=3

# Purge task interval in hours

# Set to "0" to disable auto purge feature

#autopurge.purgeInterval=1

在zoo.cfg 配置dataDir，dataLogDir，server。

server.A=B:C:D：其中 A 是一个数字，表示这个是第几号服务器；B 是这个服务

器的 IP 地址；C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口；D 表示的是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader，而这个端口就是用来执行选举时服务器相互通信的端口。

clientPort 这个端口就是客户端（应用程序）连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口接受客户端的访问请求

创建 myid 文件

进入/home/ftpuser/zookeeper-3.4.9/data并创建myid文件

[root@localhost conf]# cd /home/ftpuser/zookeeper-3.4.9/data

[root@localhost data]# vi myid

1

编辑 myid 文件，并在对应的 IP 的机器上输入对应的编号。如在 zookeeper 上，myid

文件内容就是 1。如果只在单点上进行安装配置，那么只有一个 server.1

添加环境变量

[root@localhost data]# vi /etc/profile

在文件末尾添加zookeeper 环境变量

# zookeeper env

export ZOOKEEPER_HOME=/home/ftpuser/zookeeper-3.4.9/

export PATH=$ZOOKEEPER_HOME/bin:$PATH

执行source /etc/profile命令是环境变量生效，执行echo $ZOOKEEPER_HOME查看

打开端口

在防火墙中打开要用到的端口 2181、2888、3888。打开/etc/sysconfig/iptables增加以下 3 行

[root@localhost data]# cat /etc/sysconfig/iptables

# Generated by iptables-save v1.4.7 on Thu Jun  2 22:41:13 2016

*filter

:INPUT ACCEPT [5:320]

:FORWARD ACCEPT [0:0]

:OUTPUT ACCEPT [4:464]

-A INPUT -p udp -m udp --dport 23 -j ACCEPT

-A INPUT -p tcp -m tcp --dport 23 -j ACCEPT

-A INPUT -m state --state NEW -m tcp -p tcp --dport 2181 -j ACCEPT

-A INPUT -m state --state NEW -m tcp -p tcp --dport 2888 -j ACCEPT

-A INPUT -m state --state NEW -m tcp -p tcp --dport 3888 -j ACCEPT

COMMIT

# Completed on Thu Jun  2 22:41:13 2016

[root@localhost data]#

查看端口启动状态

[root@localhost data]# service iptables status

启动zookeeper

[root@localhost zookeeper-3.4.9]# cd bin

[root@localhost bin]# ll

total 36

-rwxr-xr-x. 1 1001 1001  232 Aug 23 15:39 README.txt

-rwxr-xr-x. 1 1001 1001 1937 Aug 23 15:39 zkCleanup.sh

-rwxr-xr-x. 1 1001 1001 1032 Aug 23 15:39 zkCli.cmd

-rwxr-xr-x. 1 1001 1001 1534 Aug 23 15:39 zkCli.sh

-rwxr-xr-x. 1 1001 1001 1579 Aug 23 15:39 zkEnv.cmd

-rwxr-xr-x. 1 1001 1001 2696 Aug 23 15:39 zkEnv.sh

-rwxr-xr-x. 1 1001 1001 1065 Aug 23 15:39 zkServer.cmd

-rwxr-xr-x. 1 1001 1001 6773 Aug 23 15:39 zkServer.sh

[root@localhost bin]# zkServer.sh start

ZooKeeper JMX enabled by default

Using config: /home/ftpuser/zookeeper-3.4.9/bin/../conf/zoo.cfg

Starting zookeeper ... STARTED

查看zookeeper后台日志

[root@localhost ~]# tail -f /home/ftpuser/zookeeper-3.4.9/bin/zookeeper.out

查看zookeeper进程

[root@localhost bin]# jps

2011 QuorumPeerMain

1245 Bootstrap

2030 Jps

[root@localhost bin]#

其中，QuorumPeerMain 是 zookeeper 进程，启动正常。查看状态

[root@localhost bin]# zkServer.sh status

ZooKeeper JMX enabled by default

Using config: /home/ftpuser/zookeeper-3.4.9/bin/../conf/zoo.cfg

Mode: standalone

[root@localhost bin]#

停止zookeeper进程

[root@localhost bin]# zkServer.sh stop

ZooKeeper JMX enabled by default

Using config: /home/ftpuser/zookeeper-3.4.9/bin/../conf/zoo.cfg

Stopping zookeeper ... STOPPED

[root@localhost bin]#

客户端连接zookeeper

[root@localhost bin]# ./zkCli.sh -server 192.168.2.129:2181

输入help命令来查看有哪些命令

[zk: 192.168.2.129:2181(CONNECTED) 0] help

ZooKeeper -server host:port cmd args

connect host:port

get path [watch]

ls path [watch]

set path data [version]

rmr path

delquota [-n|-b] path

quit

printwatches on|off

create [-s] [-e] path data acl

stat path [watch]

close

ls2 path [watch]

history

listquota path

setAcl path acl

getAcl path

sync path

redo cmdno

addauth scheme auth

delete path [version]

setquota -n|-b val path

[zk: 192.168.2.129:2181(CONNECTED) 1]

ZooKeeper体系结构

ZooKeeper的体系结构由一个命名空间组成，类似于一个标准的文件系统。命名空间由称为znodes节点的数据寄存器组成，用ZooKeeper说法，这是类似于文件和目录。不同于典型的文件系统的是，这是专为存储数据而设计的，也就是说，ZooKeeper的节点数据是存储在内存中中，可以实现高吞吐量和低延迟的数据。

ZooKeeper允许分布式进程（注意，这里强调的是进程，分布式环境中往往是不同主机之间的协调访问）通过共享ZooKeeper命名空间组织的znodes节点数据来实现相互协调。

ZooKeeper命名空间结构示意图

ZooKeeper节点类型

从上面的ZooKeeper命名空间结构示意图中可以看出，ZooKeeper命名空间的根路径是“/”，每一个znode都有自己的path，每一个znode都存储着一份协调数据，这些数据包括状态信息、配置、位置信息等等。由于znode维护的数据主要是用于分布式进程之间协调的，因此这些数据通常非常小。

命名空间中的每个znode中的数据都是可读可写的，但每个节点都有一个访问控制列表（ACL），限制谁可以做什么。

命名空间中的每个znode都有自己的类型，znode的类型主要有下面几种：

（1）PERSISTEN，永久的（只要客户端不删除，则永远存在）

（2）PERSISTENT_SEQUENTIAL，永久且有序号的

（3）EMPEMERAL ，短暂的（只要客户端断开连接，则会被自动删除）

（4）EMPEMERAL_SEQUENTIAL， 短暂且有序号的

ZooKeeper节点监听

客户端可以对znode进行监听，当znode节点发生变化时，监听事件将会被触发，客户端接收到一个数据包说znode节点已发生改变。

ZooKeeper常用命令

ZooKeeper的常用命令非常简单，也就几条，下面我们来学习ZooKeeper的常用命令，加深对ZooKeeper体系结构的理解。

（1）ls——查看节点（路径）

[zk: 192.168.2.129:2181(CONNECTED) 1] ls /

[dubbo, zookeeper]

[zk: 192.168.2.129:2181(CONNECTED) 2] ls /zookeeper

[quota]

[zk: 192.168.2.129:2181(CONNECTED) 3] ls /dubbo

[com.alibaba.dubbo.monitor.MonitorService, com.mcweb.api.service.IUserService]

[zk: 192.168.2.129:2181(CONNECTED) 4]

（2）create——在命名空间中的某个路径下创建节点

[zk: 192.168.2.129:2181(CONNECTED) 7] create /nodes1 "test node"

Created /nodes1

[zk: 192.168.2.129:2181(CONNECTED) 8] ls /

[dubbo, nodes1, zookeeper]

（3）get——获取命名空间中某个节点的数据

[zk: 192.168.2.129:2181(CONNECTED) 9] get /nodes1

test node

cZxid = 0x227

ctime = Tue Sep 27 04:01:49 CST 2016

mZxid = 0x227

mtime = Tue Sep 27 04:01:49 CST 2016

pZxid = 0x227

cversion = 0

dataVersion = 0

aclVersion = 0

ephemeralOwner = 0x0

dataLength = 9

numChildren = 0

[zk: 192.168.2.129:2181(CONNECTED) 10]

（4）set——设置命名空间中某个节点的数据

[zk: 192.168.2.129:2181(CONNECTED) 10] set /nodes1 "nodes1 data have been setted"

cZxid = 0x227

ctime = Tue Sep 27 04:01:49 CST 2016

mZxid = 0x228

mtime = Tue Sep 27 04:07:04 CST 2016

pZxid = 0x227

cversion = 0

dataVersion = 1

aclVersion = 0

ephemeralOwner = 0x0

dataLength = 28

numChildren = 0

[zk: 192.168.2.129:2181(CONNECTED) 11] get /nodes1

nodes1 data have been setted

cZxid = 0x227

ctime = Tue Sep 27 04:01:49 CST 2016

mZxid = 0x228

mtime = Tue Sep 27 04:07:04 CST 2016

pZxid = 0x227

cversion = 0

dataVersion = 1

aclVersion = 0

ephemeralOwner = 0x0

dataLength = 28

numChildren = 0

[zk: 192.168.2.129:2181(CONNECTED) 12]

（5）delete——删除命名空间中某个节点

[zk: 192.168.2.129:2181(CONNECTED) 13] delete /nodes1

[zk: 192.168.2.129:2181(CONNECTED) 14] get /nodes1

Node does not exist: /nodes1

[zk: 192.168.2.129:2181(CONNECTED) 15]

删除节点信息还可以用rmr命令。好了，常用命令介绍完了，其他命令可以通过help命令来查看。下面我们来学习ZooKeeper Java客户端的使用。

ZooKeeper客户端开发

依赖jar

测试代码

public class ZKTest {

	private ZooKeeper zk = null;

	@Before
	public void init() throws Exception {
		zk = new ZooKeeper("192.168.2.129:2181", 2000, new Watcher() {
			/**
			 * 监听事件发生时的回调方法
			 */
			@Override
			public void process(WatchedEvent event) {
				if (event.getType() == EventType.None) {
					System.out.println("Event:null");
					return;
				}
				System.out.println("EventType:" + event.getType());
				System.out.println("Path" + event.getPath());

				try {
					zk.getData("/nodes1", true, null);
					zk.getChildren("/nodes1", true);

				} catch (KeeperException | InterruptedException e) {

					e.printStackTrace();
				}
			}
		});
	}

	/**
	 * 向zookeeper服务(集群)中注册数据，添加znode
	 * @throws Exception
	 */

	@Test
	public void testCreateZnode() throws Exception {
		zk.create("/nodes1", "nodes1".getBytes("utf-8"),
				Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);

		// 在一个父节点的范围之内,sequential的顺序是递增的
		zk.create("/nodes1/testNode1", "/nodes1/testNode1".getBytes("utf-8"),
				Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT_SEQUENTIAL);
		zk.create("/nodes1/testNode2", "/nodes1/testNode2".getBytes("utf-8"),
				Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT_SEQUENTIAL);

		// 换一个父节点，序号的递增顺序重新开始
		zk.create("/nodes2", "nodes2".getBytes("utf-8"),
				Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
		zk.create("/nodes2/testNode1", "/nodes2/testNode1".getBytes("utf-8"),
				Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT_SEQUENTIAL);

		zk.create("/nodes3", "/nodes3".getBytes("utf-8"),
				Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);

		zk.close();
	}

	/**
	 * 从zookeeper中删除znode
	 * @throws Exception
	 */
	@Test
	public void testDeleteZnode() throws Exception {

		// 参数1：要删除的节点的路径 参数2：要删除的节点的版本，-1匹配所有版本
		// 只能删除不为空的节点
		zk.delete("/nodes3", -1);
		Stat exists = zk.exists("/nodes3", false);
		System.out.println(exists);

	}

	@Test
	public void testUpdateZnode() throws Exception {
		byte[] data = zk.getData("/nodes1", false, null);
		System.out.println(new String(data, "utf-8"));

		zk.setData("/nodes1", "/nodes1 data changed".getBytes("utf-8"), -1);

		data = zk.getData("/nodes1", false, null);
		System.out.println(new String(data, "utf-8"));

	}

	/**
	 * 获取子节点信息
	 * @throws Exception
	 */
	@Test
	public void testGetChildren() throws Exception {
		List<String> children = zk.getChildren("/nodes1", false);
		for (String child : children) {
			System.out.println(child);
		}
	}

	/**
	 * zk的监听机制：
	 * 在初始化zk对象的时候定义好回调函数，对znode进行操作时可以注册监听
	 * 监听的znode上发生相应事件时，客户端zk会接收到zookeeper的事件通知
	 * 客户端zk根据事件调用我们事先定义好的回调函数
	 * @throws Exception
	 *
	 */
	@Test
	public void testWatch() throws Exception {
		//获取/nodes1的数据时进行监听
         //第二个参数true表示监听
		byte[] data = zk.getData("/nodes1", true, null);

		//获取/nodes1的子节点时进行监听
		List<String> children = zk.getChildren("/nodes1", true);
		Thread.sleep(Long.MAX_VALUE);
	}

	/**
	 * 将配置文件上传到zookeeper中进行管理
	 * @throws Exception
	 */
	@Test
	public void testUploadConfigFileToZookeeper() throws Exception{
		String schema_xml = FileUtils.readFileToString(new File("c:/web.xml"));
		zk.create("/conf", null, Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
		zk.create("/conf/web.xml", schema_xml.getBytes(),
				Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
		zk.close();
	}
}

需要注意的是，创建非叶子节点时，zk会自动加上序号，所以在操作非叶子节点时，不能像添加的时候一样以原路径操作，要加上序号，如：

[zk: localhost:2181(CONNECTED) 50] ls /

[dubbo, nodes2, conf, nodes1, zookeeper]

[zk: localhost:2181(CONNECTED) 51] ls /nodes1

[testNode20000000001, testNode10000000000]

[zk: localhost:2181(CONNECTED) 52] ls /nodes2

[testNode10000000000]

[zk: localhost:2181(CONNECTED) 53] get /nodes1/testNode1

Node does not exist: /nodes1/testNode1

[zk: localhost:2181(CONNECTED) 54] get /nodes1/testNode10000000000

/nodes1/testNode1

cZxid = 0x26a

.......

[zk: localhost:2181(CONNECTED) 55] delete /nodes1/testNode1

Node does not exist: /nodes1/testNode1

[zk: localhost:2181(CONNECTED) 56]

Zookeeper高可用集群搭建与测试

服务器集群信息

Zookeeper 集群的设计目标是高性能、高可用性、严格有序访问的，其中只要有过半的节点是正常的情况下，那么整个集群对外就是可用的。正是基于这个特性，要将 ZK 集群的节点数量要为奇数（2n+1：如 3、5、7 个节点）较为合适。

服务器 1：192.168.2.127  端口：2181、2881、3881

服务器 2：192.168.2.128  端口：2182、2882、3882

服务器 3：192.168.2.130  端口：2183、2883、3883

端口说明：

218x：客户端（应用程序）连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端

288x：该服务器与集群中的 Leader 服务器交换信息的端口

388x：选举通信端口，如果集群中的 Leader 服务器挂了，需要选出一个新的 Leader，而这个端口就是用来执行选举时服务器相互通信的端口

设置多回话操作

在操作之前，先把Xshell或者SecureCRT设置成多会话操作，即同时操纵多个会话窗口，很方便，打开127，128，130会话窗口。

Xshell：查看-》撰写栏，Xshell的下面就会出现一个编辑框，就是撰写栏，点击左下角撰写栏上的蓝色图标，然后选择【全部会话】。

SecureCRT：右击任何一个会话窗口下面的交互窗口，选中“发送交互到所有标签”。

下面某些操纵就可以在撰写栏上同时操纵三台服务器了。

下载或上传文件

将zookeeper-3.4.9.tar.gz下载或者上传到三台服务器中的/usr/ftpuser目录

解压

mkdir /usr/local/zookeeper

tar -zxvf zookeeper-3.4.9.tar.gz -C /usr/local/zookeeper

cd /usr/local/zookeeper

按节点号对 zookeeper 目录重命名

#127

[root@localhost zookeeper]# mv zookeeper-3.4.9/ node-127

#128

[root@localhost zookeeper]# mv zookeeper-3.4.9/ node-128

#130

[root@localhost zookeeper]# mv zookeeper-3.4.9/ node-130

创建数据日志目录

在各 zookeeper 节点目录/usr/local/zookeeper/node-*下创建data和logs目录

cd node-*

mkdir data

mkdir logs

拷贝修改配置文件

将 zookeeper/node-*/conf 目录下的 zoo_sample.cfg 文件拷贝一份，命名为 zoo.cfg

cd conf

cp zoo_sample.cfg zoo.cfg

#127

[root@localhost conf]# vi zoo.cfg

...

#dataDir=/tmp/zookeeper

dataDir=/usr/local/zookeeper/node-127/data

dataLogDir=/usr/local/zookeeper/node-127/logs

# the port at which the clients will connect

clientPort=2181

server.1=192.168.2.127:2881:3881

server.2=192.168.2.128:2882:3882

server.3=192.168.2.130:2883:3883

...

#128

[root@localhost conf]# vi zoo.cfg

...

#dataDir=/tmp/zookeeper

dataDir=/usr/local/zookeeper/node-128/data

dataLogDir=/usr/local/zookeeper/node-128/logs

# the port at which the clients will connect

clientPort=2182

server.1=192.168.2.127:2881:3881

server.2=192.168.2.128:2882:3882

server.3=192.168.2.130:2883:3883

...

#130

[root@localhost conf]# vi zoo.cfg

...

#dataDir=/tmp/zookeeper

dataDir=/usr/local/zookeeper/node-130/data

dataLogDir=/usr/local/zookeeper/node-130/logs

# the port at which the clients will connect

clientPort=2183

server.1=192.168.2.127:2881:3881

server.2=192.168.2.128:2882:3882

server.3=192.168.2.130:2883:3883

...

创建 myid 文件

进入/usr/local/zookeeper/node-*/data，编辑 myid 文件，并在对应的 IP 的机器上输入对应的编号。如在 node-128 上，myid 文件内容就是1,node-128 上就是 2，node-130 上就是 3。

#127

[root@localhost data]# vi /usr/local/zookeeper/node-127/data/myid ## 值为 1

#128

[root@localhost data]# vi /usr/local/zookeeper/node-128/data/myid ## 值为 2

#130

[root@localhost data]# vi /usr/local/zookeeper/node-130/data/myid ## 值为 3

打开端口

在防火墙中打开要用到的端口 218x、288x、388x。打开vi /etc/sysconfig/iptables增加以下 3 行

#127

-A INPUT -m state --state NEW -m tcp -p tcp --dport 2181 -j ACCEPT

-A INPUT -m state --state NEW -m tcp -p tcp --dport 2881 -j ACCEPT

-A INPUT -m state --state NEW -m tcp -p tcp --dport 3881 -j ACCEPT

#128

-A INPUT -m state --state NEW -m tcp -p tcp --dport 2182 -j ACCEPT

-A INPUT -m state --state NEW -m tcp -p tcp --dport 2882 -j ACCEPT

-A INPUT -m state --state NEW -m tcp -p tcp --dport 3882 -j ACCEPT

#130

-A INPUT -m state --state NEW -m tcp -p tcp --dport 2183 -j ACCEPT

-A INPUT -m state --state NEW -m tcp -p tcp --dport 2883 -j ACCEPT

-A INPUT -m state --state NEW -m tcp -p tcp --dport 3883 -j ACCEPT

重启防火墙

service iptables restart

启动zookeeper集群

cd node*/bin

./zkServer.sh start

查看zookeeper集群状态

./zkServer.sh status

可见，三个节点中，有一个为Mode: leader，另外两个为Mode: follower

显示状态报错参考：

http://www.cnblogs.com/xiaohua92/p/5460515.html

dubbo管控台链接集群

需要先安装dubbo管控台，我们就用事先已经安装好的dubbo的管控台（192.168.2.129），下面我们修改下配置文件

[root@localhost ~]#

vi /usr/local/apache-tomcat-7.0.70/webapps/ROOT/WEB-INF/dubbo.properties

dubbo.registry.address=zookeeper://192.168.2.127:2181?backup=192.168.2.128:2182,192.168.2.130:2183

dubbo.admin.root.password=dubbo129

dubbo.admin.guest.password=dubbo129

启动dubbo管控台

[root@localhost ~]# cd /usr/local/apache-tomcat-7.0.70/bin/

[root@localhost bin]# ./startup.sh

应用连zookeeper集群以及高可用测试

在《基于dubbo构建分布式项目与服务模块》一文中，我们创建了服务消费者与服务提供者，现在我们将服务提供者注册到zookeeper集群。

修改mcweb\mcweb-logic\src\main\resources\spring\dubbo-provider.xml

<!-- zookeeper注册中心地址 -->

<dubbo:registry protocol="zookeeper"

address="192.168.2.127:2181,192.168.2.128:2182,192.168.2.130:2183" />

启动mcweb-logic。在dubbo的“首页 > 服务治理 > 服务”中可以看到已经注册到 zookeeper 注册中心的服务的相关情况。看看mcweb-logic的日志：

可见，应用已经连接到了zookeeper集群中的128节点。现在我们把128的zookeeper停止，看看mcweb-logic的日志变化：

可见，zookeeper集群的状态发生了变化，当128节点停止后，应用重新连接到了zookeeper集群中的127节点。现在集群中还有两个节点可用，集群仍可以对外可用，当再把127节点停止后，集群对外就不可用：

只要有过半的节点是正常的情况下，那么整个zookeeper集群对外就是可用的，这是zookeeper集群高可用的基础。