【云原生 · Kubernetes】部署zookeeper

个人名片：
因为云计算成为了监控工程师‍
个人博客：念舒_C.ying
CSDN主页️：念舒_C.ying

部署zookeeper

1.1 zookeeper概述

ZooKeeper是一种为分布式应用所设计的高可用、高性能且一致的开源协调服务，它提供了一项基本服务：分布式锁服务。由于ZooKeeper的开源特性，后来的开发者在分布式锁的基础上，摸索了出了其他的使用方法：配置维护、组服务、分布式消息队列、分布式通知/协调等。在分布式协调技术方面做得比较好的就是Google的Chubby还有Apache的ZooKeeper都是分布式锁的实现者。Chbby是非开源的，Google自家用。后来雅虎模仿Chubby开
发出了ZooKeeper，也实现了类似的分布式锁的功能，并且将ZooKeeper作为一种开源的程序捐献给了Apache。注意：ZooKeeper性能上的特点决定了它能够用在大型的、分布式的系统中。可靠性方面来，它并不会因为一个节
点的错误而崩溃。除此之外，它严格的序列访问控制意味着复杂的控制原语可以应用在客户端上。ZooKeeper在一致性、可用性、容错性的保证，也是ZooKeeper的成功之处，它获得的一切成功都与它采用的协议——Zab协议
是密不可分的。 ZooKeeper在实现这些服务(分布式锁、配置维护、组服务等)时，首先它设计一种新的数据结构——Znode，然后在该数据结构的基础上定义了一些原语，也就是一些关于该数据结构的一些操作。有了这些数据
结构和原语还不够，因为ZooKeeper是工作在一个分布式的环境下，服务是通过消息以网络的形式发送给分布式应用程序，所以还需要一个通知机制——Watcher机制。那么总结一下，ZooKeeper所提供的服务主要是通过：数据结构+原语+watcher机制，三个部分来实现的。

1.2 ZooKeeper服务中操作

在ZooKeeper中有9个基本操作，如下图所示：图ZooKeeper类方法描述

更新ZooKeeper操作是有限制的。delete或setData必须明确要更新的Znode的版本号，我们可以调用exists找到。如果版本号不匹配，更新将会失败。更新ZooKeeper操作是非阻塞式的。因此客户端如果失去了一个更新(由
于另一个进程在同时更新这个Znode)，他可以在不阻塞其他进程执行的情况下，选择重新尝试或进行其他操作。
尽管ZooKeeper可以被看做是一个文件系统，但是处于便利，摒弃了一些文件系统地操作原语。因为文件非常的小并且使整体读写的，所以不需要打开、关闭或是寻地的操作。

1.3 Watch触发器

(1) watch概述 ZooKeeper可以为所有的读操作设置watch，这些读操作包括：exists()、getChildren()及getData()。watch事件是一次性的触发器，当watch的对象状态发生改变时，将会触发此对象上watch所对应的事
件。watch事件将被异步地发送给客户端，并且ZooKeeper为watch机制提供了有序的一致性保证。理论上，客户端接收watch事件的时间要快于其看到watch对象状态变化的时间。
(2) watch类型 ZooKeeper所管理的watch可以分为两类： ① 数据watch(data watches)：getData和exists负责设置数据watch ② 孩子watch(child watches)：getChildren负责设置孩子watch 可以通过操作返回的数据来设置不同的watch： ① getData和exists：返回关于节点的数据信息 ② getChildren：返回孩子列表因此 ① 一个成功的setData操作将触发Znode的数据watch ② 一个成功的create操作将触发Znode的数据watch以及孩子watch ③ 一个成功的delete操作将触发Znode的数据watch以及孩子watch
(3) watch注册与处触器: ① exists操作上的watch，在被监视的Znode创建、删除或数据更新时被触发。 ② getData操作上的watch，在被监视的Znode删除或数据更新时被触发。在被创建时不能被触发，因为只有Znode一定存在，getData操作才会成功。 ③ getChildren操作上的watch，在被监视的Znode的子节点创建或删除，或是这个Znode自身被删除时被触发。可以通过查看watch事件类型来区分是Znode，还是他的子节点被删除：NodeDelete表示Znode被删除，NodeDeletedChanged表示子节点被删除。

1.3 ZooKeeper中的时间

ZooKeeper有多种记录时间的形式，其中包含以下几个主要属性：
(1) Zxid 致使ZooKeeper节点状态改变的每一个操作都将使节点接收到一个Zxid格式的时间戳，并且这个时间戳全局有序。也就是说，也就是说，每个对节点的改变都将产生一个唯一的Zxid。如果Zxid1的值小于Zxid2的值，那么Zxid1所对应的事件发生在Zxid2所对应的事件之前。实际上，ZooKeeper的每个节点维护者三个Zxid值，为别为：cZxid、mZxid、pZxid。 ① cZxid：是节点的创建时间所对应的Zxid格式时间戳。 ② mZxid：是节点的修改时间所对应的Zxid格式时间戳。实现中Zxid是一个64为的数字，它高32位是epoch用来标识leader关系是否改变，每次一个leader被选出来，它都会有一个新的epoch。低32位是个递增计数。
(2) 版本号对节点的每一个操作都将致使这个节点的版本号增加。每个节点维护着三个版本号，他们分别为： ① version：节点数据版本号 ② cversion：子节点版本号 ③ aversion：节点所拥有的ACL版本号

1.4 zookeeper 的应用

(1) Master启动在引入了Zookeeper以后启动两个主节点，“主节点-A"和"主节点-B” 启动以后，都向ZooKeeper去注册一个节点(znode)。假设"主节点-A"锁注册znode是"master-00001"， “主节点-B"注册的节点是"master00002”，注册完以后进行选举，编号最小的节点将在选举中获胜获得锁成为主节点，也就是"主节点-A"将会获得锁成为主节点，然后"主节点-B"将被阻塞成为一个备用节点。通过这种方式就完成了对两个Master进程的调度。
(2) Master故障如果"主节点-A"挂了，此时它所注册的节点将被自动删除，ZooKeeper会自动感知节点的变化，然后再次发出选举，此时”主节点-B"将在选举中获胜，替代"主节点-A"成为主节点。

1.5 zookeeper的配置

[root@vm2 ~]# wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.12/zookeeper3.4.12.tar.gz

[root@vm2 ~]# tar xfz zookeeper-3.4.12.tar.gz -C /usr/local/

[root@vm2 ~]# cd /usr/local/

[root@vm2 local]# ln -s zookeeper-3.4.12 zookeeper

[root@vm2 conf]# cd zookeeper/conf

[root@vm2 conf]# cp zoo_sample.cfg zoo.cfg

zoo.cfg文件如下：

tickTime = 2000

dataDir = /opt/zookeeper-3.4.9/data

dataLogDir = /opt/zookeeper-3.4.9/logs

tickTime = 2000

clientPort = 2181

initLimit = 5

syncLimit = 2

server.1=node1:2888:3888

server.2=node2:2888:3888

server.3=node3:2888:3888

syncLimit 配置follower和leader之间发送消息，请求和应答的最大时间长度。 server.id=host:port1:port2 server.id 其中id为一个数字，表示zk进程的id，这个id也是data目录下myid文件的内容 host 是该zk进程所在的IP地址 port1 表示follower和leader交换消息所使用的端口port2 表示选举leader所使用的端口在data里会放置一个myid文件，里面就个数字，用来唯一标识这个服务。
这个id是很重要的，一定要保证整个集群中唯一 ZooKeeper会根据这个id来取出server.x上的配置。

[root@vm2 zookeeper]# pwd

/usr/local/zookeeper

[root@vm2 zookeeper]# bin/zkServer.sh start

[root@vm2 zookeeper]# bin/zkCli.sh

[zk: localhost:2181(CONNECTED) 4] ls /

[inspiry, zookeeper, firstZone]

[zk: localhost:2181(CONNECTED) 5] rmr /firstZone

[zk: localhost:2181(CONNECTED) 6] ls /

[inspiry, zookeeper]

[zk: localhost:2181(CONNECTED) 7]

[zk: localhost:2181(CONNECTED) 9] create /firstZnode mydata

Created /firstZnode

[zk: localhost:2181(CONNECTED) 10] get /firstZnode

mydata

cZxid = 0x120000000c

ctime = Mon Jun 11 19:19:36 CST 2018

mZxid = 0x120000000c

mtime = Mon Jun 11 19:19:36 CST 2018

pZxid = 0x120000000c

cversion = 0

dataVersion = 0

aclVersion = 0

ephemeralOwner = 0x0

dataLength = 6

numChildren = 0

[zk: localhost:2181(CONNECTED) 11] set /firstZnode "welcome to Inspiry"

cZxid = 0x120000000c

ctime = Mon Jun 11 19:19:36 CST 2018

mZxid = 0x120000000d

mtime = Mon Jun 11 19:20:11 CST 2018

pZxid = 0x120000000c

cversion = 0

dataVersion = 1

aclVersion = 0

ephemeralOwner = 0x0

dataLength = 18

numChildren = 0

[zk: localhost:2181(CONNECTED) 12] get /firstZnode

welcome to Inspiry

cZxid = 0x120000000c

ctime = Mon Jun 11 19:19:36 CST 2018

mZxid = 0x120000000d

mtime = Mon Jun 11 19:20:11 CST 2018

pZxid = 0x120000000c

cversion = 0

dataVersion = 1

aclVersion = 0

ephemeralOwner = 0x0

dataLength = 18

numChildren = 0

[zk: localhost:2181(CONNECTED) 13]

[zk: localhost:2181(CONNECTED) 13] ls /

[inspiry, zookeeper, firstZnode]

[zk: localhost:2181(CONNECTED) 14]

1.6 关于管理界面zkui

[root@meteor ~]# git clone https://github.com/DeemOpen/zkui.git

正克隆到 'zkui'...

remote: Counting objects: 527, done.

remote: Total 527 (delta 0), reused 0 (delta 0), pack-reused 526

接收对象中: 100% (527/527), 478.39 KiB | 300.00 KiB/s, done.

处理 delta 中: 100% (217/217), done.

[root@meteor ~]#

[root@meteor ~]# cd zkui/

[root@meteor zkui]# mvn clean package

[root@meteor zkui]# ls target/

archive-tmp generated-sources surefire-reports zkui-2.0-SNAPSHOT.jar

classes maven-archiver test-classes zkui-2.0-SNAPSHOT-jar-with-dependencies.jar

[root@meteor zkui]#

[root@meteor zkui]# vim config.cfg

[root@meteor zkui]# grep -Pv "^(#|$)" config.cfg

serverPort=9090

zkServer=meteor:2181,vm1:2181,vm2:2181

scmRepo=http://myserver.com/@rev1=

scmRepoPath=//appconfig.txt

ldapAuth=false

ldapDomain=mycompany,mydomain

ldapUrl=ldap://<ldap_host>:<ldap_port>/dc=mycom,dc=com

ldapRoleSet={"users": [{ "username":"domain\\user1" , "role": "ADMIN" }]}

userSet = {"users": [{ "username":"admin" , "password":"******","role": "ADMIN" },{

"username":"appconfig" , "password":"******","role": "USER" }]}

env=prod

jdbcClass=org.h2.Driver

jdbcUrl=jdbc:h2:zkui

jdbcUser=root

jdbcPwd=manager

loginMessage=Please login using admin/manager or appconfig/appconfig.

sessionTimeout=300

zkSessionTimeout=5

blockPwdOverRest=false

https=false

keystoreFile=/home/user/keystore.jks

keystorePwd=password

keystoreManagerPwd=password

defaultAcl=

X-Forwarded-For=false

[root@meteor zkui]#

[root@meteor zkui]# nohup java -jar target/zkui-2.0-SNAPSHOT-jar-with-dependencies.jar &

[1] 17262

[root@meteor zkui]# nohup: 忽略输入并把输出追加到"nohup.out"

[root@meteor zkui]# ls

config.cfg images Makefile nohup.out README.md src zkui.h2.db

docker LICENSE-2.0.txt nbactions.xml pom.xml run.sh target zkui-out.log

[root@meteor zkui]# firewall-cmd --add-port=9090/tcp --perm

success

[root@meteor zkui]# firewall-cmd --reload

success

[root@meteor zkui]#

可以在pom.xml文件中添加如下内容：

<distributionManagement>

<repository>

<id>releases</id>

<url>http://192.168.20.221:8081/repository/maven-releases/</url>

</repository>

<snapshotRepository>

<id>snapshots</id>

<url>http://192.168.20.221:8081/repository/maven-snapshots/</url>

</snapshotRepository>

</distributionManagement>

然后执行deploy，把包存储到nexus上

[root@meteor zkui]# mvn deploy

注：需要在cluster中的所有机器上都部署并启动exhibitor ，exhibitor还可以监控zookeeper进程的状态，如果发现zookeeper进程down掉，exhibitor会自动拉起zookeeper进程；而且exhibitor还可以在界面上配置、重启
zookeeper，它是一款非常不错的zookeeper进程管理程序。

期待下次的分享，别忘了三连支持博主呀~
我是 念舒_C.ying ，期待你的关注~

附专栏链接
【云原生 · Kubernetes】部署 kube-proxy 组件
 【云原生 · Kubernetes】部署高可用kube-scheduler集群
 【云原生 · Kubernetes】部署高可用 kube-controller-manager 集群
 【云原生 · Kubernetes】runtime组件
 【云原生 · Kubernetes】apiserver高可用