zookeeper curator ( 实战一)

zookeeper 的伪集群搭建

疯狂创客圈 Java 分布式聊天室【 亿级流量】实战系列之 -22【 博客园 总入口 】

---

目录

• zookeeper 的伪集群搭建
  • 写在前面
  • 1.1. zookeeper 安装&配置
    • 1.1.1. 创建数据目录和日志目录：
    • 1.1.2. 创建myid文件
    • 1.1.3. 创建和修改配置文件
    • 1.1.4. 配置文件实例
    • 1.1.5. 修改启动命令
    • 1.1.6. 启动伪集群
    • 1.1.7. zk的客户端常用命令
  • 写在最后
  • 疯狂创客圈 亿级流量 高并发IM 实战 系列

源码IDEA工程获取链接：Java 聊天室 实战 源码

写在前面

​ 大家好，我是作者尼恩。目前和几个小伙伴一起，组织了一个高并发的实战社群【疯狂创客圈】。正在开始高并发、亿级流程的 IM 聊天程序 学习和实战

​ 前面，已经完成一个高性能的 Java 聊天程序的四件大事：

1. 完成了协议选型，选择了性能更佳的 Protobuf协议。具体的文章为： Netty+Protobuf 整合一：实战案例，带源码

2. 介绍了 通讯消息数据包的几条设计准则。具体的文章为： Netty +Protobuf 整合二：protobuf 消息通讯协议设计的几个准则

3. 解决了一个非常基础的问题，这就是通讯的 粘包和半包问题。具体的文章为：Netty 粘包/半包 全解 | 史上最全解读

4. 前一篇文件，已经完成了 系统三大组成模块的组成介绍。 具体的文章为：Netty聊天程序（实战一）：从0开始实战100w级流量应用

接下来，需要进入到分布式开发的环节了。 分布式的中间件，疯狂创客圈的小伙伴们，一致的选择了zookeeper，不仅仅是由于其在大数据领域，太有名了。更重要的是，很多的著名框架，都使用了zk。

1.1. zookeeper 安装&配置

现在，我们开始使用三台机器来搭建一个Zookeeper集群。由于没有多余的服务器，这里就将三个Zk都安装到本地机器上，故称谓伪集群模式。

伪集群模式只是便于开发、普通测试，不能用于生产环境。当然，如果了解了伪集群模式下的安装和配置，生产环境下的配置，也是大致差不多的。

首先是下载。在apache的官方网站提供了好多镜像下载地址，然后找到对应的版本，目前最新的是3.4.13。

下载地址：

http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.13/zookeeper-3.4.13.tar.gz

Windows下安装

把下载的zookeeper的文件解压到指定目录

C:\devtools\zookeeper-3.4.13>

1.1.1. 创建数据目录和日志目录：

提前为每一个伪节点创建日志目录、数据目录。

在安装目录下，为每一个伪节点创建一个日志目录，分别为 log/zoo-1、 log/zoo-2、 log/zoo-3：


为每一个伪节点创建一个数据目录，分别为 data/zoo-1、 data/zoo-2、 data/zoo-3。

1.1.2. 创建myid文件

myid文件的主要作用，是记录（伪）节点的编号。

myid文件是一个文本文件，文件名称为myid。

myid文件内容为一个数字，表示节点的编号。

在第一个（伪）节点数据目录 C:\devtools\zookeeper-3.4.13>data\zoo-1\ 文件夹下创建内容为 "1" 的myid文件。表示第一个节点的编号为1。

在第二个（伪）节点数据目录 C:\devtools\zookeeper-3.4.13>data\zoo-2\ 文件夹下创建内容为 "2" 的myid文件。表示第二个节点的编号为2。

在第三个（伪）节点数据目录 C:\devtools\zookeeper-3.4.13>data\zoo-3\ 文件夹下创建内容为 "3" 的myid文件。表示第三个节点的编号为3。

强调一下：myid文件中只有一个数字，即一个Server ID，id的范围是1~255，表示集群最多的节点个数为255个。

1.1.3. 创建和修改配置文件

在zookeeper的配置目录conf 目录下，有一个官方的配置文件样例——zoo_sample.cfg。

将配置文件的样例zoo_sample.cfg文件复制3分，为每一个节点复制一份，分别命名为zoo-1.cfg、zoo-2.cfg、zoo-3.cfg，应用于3个节点。

然后，需要修改每一个节点的配置文件，将前面建立的编号（Server ID）、日志目录、数据目录，配置进去。

首先，配置 （Server ID）编号、IP、端口。格式为：

server.id=host:port:port

在zookeeper集群中，每个节点都需要感知到整个集群是哪些节点组。在配置文件中，可以按照这样的格式进行配置，每一行都代表一个节点。

三个节点，配置的实例如下：

server.1=127.0.0.1:2888:3888

server.2=127.0.0.1:2889:3889

server.3=127.0.0.1:2890:3890

配置ID的时候，注意四点：

（1）清确保每个节点的myid文件中的id值不同，不能有相同id的节点；

（2）server.id=houst:port:port的id值，需要与所对应的节点数据目录下的myid中的di值保持一致。

（3）每一个节点的配置文件中，不仅仅是配置自己的那份，而是需要所有节点的id、ip、端口配置。

（4）Id配置中，需要配置两个端口。前一个端口（如上的2888）用于节点之间的通讯使用，后一个端口（如上的3888）用于选举leader主节点使用。在伪集群的模式下，两个端口必须修改每一个节点都不一样。在分布式集群模式下，不同节点的ip不同，可以不同节点的端口相同。

其次，配置数据目录dataDir。

每一个节点，都有自己的数据目录。数据目录是没有默认值的，必须配置。dataDir用于存储节点快照文件的目录。

每个节点只需要配置自己的数据目录。案例中zoo-1.conf的数据目录如下：

dataDir=C:\devtools\zookeeper-3.4.13\data\zoo-1

第三，配置服务端口

clientPort：参数clientPort用于配置当前节点的服务端口，客户端会通过该端口和Zk服务器创建连接，一般设置为2181。不同的节点，clientPort不能相同，可以按照编号，进行累加。

第四，配置时间相关选项

tickTime：配置单元时间。单元时间是Zookeeper的时间计算单元，其他的时间间隔都是使用tickTime的倍数来表示的。单元时间默认值为3000，单位是毫秒（ms），所以，可以不配置。

initLimit：节点的初始化时间。该参数用于Follower（从节点）启动，并完成从Leader（主节点）同步数据的时间。Follower服务器在启动过程中，会与Leader建立连接并完成对数据的同步，从而确定自己的起始状态。leader服务器允许Follower在initLimit时间内完成这个工作。该参数默认值：10，表示是参数tickTime值的10倍，必须配置，且为正整数。

syncLimit：心跳最大延迟周期。该参数用于配置Leader服务器和Follower之间进行心跳检测的最大延时时间。在Zk集群运行的过程中，Leader服务器会通过心跳检测来确定Follower服务器是否存活。如果Leader服务器在syncLimit时间内无法获取到Follower的心跳检测响应，那么Leader就会认为该Follower已经脱离了和自己的同步。该参数默认值：5，表示是参数tickTime值的5倍，必须配置，且为正整数。

1.1.4. 配置文件实例

为了给出一个完整的直观体验，下面给出三份配置文件实际的代码。

第一个节点的配置文件zoo-1.conf

tickTime=4000

initLimit = 10

syncLimit = 5

dataDir = C:/devtools/zookeeper-3.4.13/data/zoo-1/

clientPort = 2181

server.1 = 127.0.0.1:2888:3888

server.2 = 127.0.0.1:2889:3889

server.3 = 127.0.0.1:2890:3890

第二个节点的配置文件zoo-2.conf

tickTime=4000

initLimit = 10

syncLimit = 5

dataDir = C:/devtools/zookeeper-3.4.13/data/zoo-2/

clientPort = 2182

server.1 = 127.0.0.1:2888:3888

server.2 = 127.0.0.1:2889:3889

server.3 = 127.0.0.1:2890:3890

第三个节点的配置文件zoo-3.conf

tickTime=4000

initLimit = 10

syncLimit = 5

dataDir = C:/devtools/zookeeper-3.4.13/data/zoo-3/

clientPort = 2183

server.1 = 127.0.0.1:2888:3888

server.2 = 127.0.0.1:2889:3889

server.3 = 127.0.0.1:2890:3890

通过三个配置文件，可以看出，每个节点的server id 的配置，都是全量配置。每一个节点的数据目录dataDir 和对外服务端口clientPort，则仅仅负责自己的那份。

1.1.5. 修改启动命令

在bin目录下，通过复制zkServer.cmd文件，为每一个伪节点创建一个启动文件，分别为 zkServer-1.cmd、zkServer-2.cmd、zkServer-3.cmd。

主要是为每一个节点增加配置文件（ZOOCFG）、日志目录ZOO_LOG_DIR的设置。

修改之后，第一个节点的启动命令 zkServer-1.cmd代码如下：

setlocal

call "%~dp0zkEnv.cmd"

set ZOOCFG=C:\devtools\zookeeper-3.4.13\conf\zoo-1.cfg

set ZOO_LOG_DIR=C:\devtools\zookeeper-3.4.13\log\zoo-1

set ZOOMAIN=org.apache.zookeeper.server.quorum.QuorumPeerMain

echo on

call %JAVA% "-Dzookeeper.log.dir=%ZOO_LOG_DIR%" "-Dzookeeper.root.logger=%ZOO_LOG4J_PROP%" -cp "%CLASSPATH%" %ZOOMAIN% "%ZOOCFG%" %*

endlocal

1.1.6. 启动伪集群

打开一个window的命令控制台，进入到bin目录，并且启动zkServer-1.cmd，这个脚本中会启动第一个节点的java服务进程：

C:\devtools\zookeeper-3.4.13>cd bin

C:\devtools\zookeeper-3.4.13\bin>

C:\devtools\zookeeper-3.4.13\bin > zkServer-1.cmd

zookeeper集群需要有1/2以上的节点启动，才能完成集群的启动，对外提供服务。所以，至少需要再启动一个节点。

打开另外一个window的命令控制台，进入到bin目录，并且启动zkServer-2.cmd，这个脚本中会启动第一个节点的java服务进程：

C:\devtools\zookeeper-3.4.13>cd bin

C:\devtools\zookeeper-3.4.13\bin>

C:\devtools\zookeeper-3.4.13\bin > zkServer-2.cmd

由于这里没有使用后台服务启动的模式，所以，这两个节点服务的窗口，在服务期间，不能关闭。

如何验证集群已经成功启动呢？

方法一：

可以通过jps命令，可以看到QuorumPeerMain的进程的数量。

C:\devtools\zookeeper-3.4.13\bin > jps

方法二：

启动zookeeper 客户端，运行查看一下，是否能连接集群。如果能够成功连接，这个时候zookeeper已经安装成功了，

C:\devtools\zookeeper-3.4.13\bin> ./zkCli.cmd -server 127.0.0.1:2181

windows下，Zookeeper是通过.cmd的批处理命令运行的，默认没有提供以windows服务的方式运行的方案。

避免每次关闭后，再启动还需要使用cmd，十分的不方便，可以通过工具prunsrv 来将zookeeper做成 windows 服务，将zookeeper服务化管理。

1.1.7. zk的客户端常用命令

用zkCli.sh连接上Zookeeper服务后，用help能列出所有命令：

zk的客户端常用命令	功能简介
create	创建路径结点
ls	查看路径下的所有结点
get	获得结点上的值
set	修改结点上的值
delete	删除结点

写在最后

​

​ 下一篇：开启zk的客户端开发。

---

疯狂创客圈 亿级流量 高并发IM 实战 系列

• Java (Netty) 聊天程序【 亿级流量】实战 开源项目实战

• Netty 源码、原理、JAVA NIO 原理
• Java 面试题 一网打尽
• 疯狂创客圈 【 博客园 总入口 】

---