ZooKeeper在线迁移
在至少有一个Leader存在的前提下，进行Zookeeper的在线增量、在线减量、在线迁移
在全过程中ZooKeeper不停止服务
注意事项
首先，当我们要从3台扩充到5台时，应保证集群不停止服务。
3台不停止服务的最低限度是2台（X/2+1），而5台的最低限度是3台。
我们应该保证，集群中最低有3台ZooKeeper是启动的。
此外，重启时应保证先重启
myid最小的机器，由小向大进行重启Leader无论其myid大小，都放到最后重启
因为ZooKeeper的机制中，myid大的会向小的发起连接，而小的不会向大的发起连接。因此如果最后重启myid最小的机器，则其可能无法加入集群
环境情况
五台机器
| IP | Hostname |
|---|---|
| 10.1.24.110 | idc02-kafka-ds-00 |
| 10.1.24.111 | idc02-kafka-ds-01 |
| 10.1.24.112 | idc02-kafka-ds-02 |
| 10.1.24.113 | idc02-kafka-ds-03 |
| 10.1.24.114 | idc02-kafka-ds-04 |
JDK
jdk1.7.0_67
ZooKeeper
zookeeper-3.4.6
myid
根据IP自增为1-5
配置文件
|
1
2
3
4
|
server.1=10.1.24.110:2888:3888
server.2=10.1.24.111:2888:3888
server.3=10.1.24.112:2888:3888
|
实验过程
配置一个3节点的ZooKeeper
idc02-kafka-ds-00：
|
1
2
3
4
5
|
[hadoop@idc02-kafka-ds-00bin]$./zkServer.shstatus
JMXenabledbydefault
Usingconfig:/usr/local/webserver/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode:follower
|
idc02-kafka-ds-01：
|
1
2
3
4
5
|
[hadoop@idc02-kafka-ds-01 bin]$ ./zkServer.sh status
JMX enabled by default
Using config: /usr/local/webserver/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: leader
|
idc02-kafka-ds-02：
|
1
2
3
4
5
|
[hadoop@idc02-kafka-ds-02bin]$./zkServer.shstatus
JMXenabledbydefault
Usingconfig:/usr/local/webserver/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode:follower
|
将其扩容为5节点的ZooKeeper
先查看原先的ZooKeeper集群情况
echo mntr|nc localhost 2181
这条4字命令可以查看集群的情况，其中follower的相关数据需要在Leader机器上才能查看
在idc02-kafka-ds-01上查看
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
[hadoop@idc02-kafka-ds-01 bin]$ echo mntr|nc localhost 2181
zk_version 3.4.6-1569965, built on 02/20/2014 09:09 GMT
zk_avg_latency 0
zk_max_latency 0
zk_min_latency 0
zk_packets_received 3
zk_packets_sent 2
zk_num_alive_connections 1
zk_outstanding_requests 0
zk_server_state leader
zk_znode_count 4
zk_watch_count 0
zk_ephemerals_count 0
zk_approximate_data_size 27
zk_open_file_descriptor_count 27
zk_max_file_descriptor_count 65535
zk_followers 2
zk_synced_followers 2
zk_pending_syncs 0
|
启动另外两台机器的Zookeeper
另外两台机器的配置文件
|
1
2
3
4
5
6
|
server.1=10.1.24.110:2888:3888
server.2=10.1.24.111:2888:3888
server.3=10.1.24.112:2888:3888
server.4=10.1.24.113:2888:3888
server.5=10.1.24.114:2888:3888
|
启动
idc02-kafka-ds-03：
|
1
2
3
4
5
|
[hadoop@idc02-kafka-ds-03 bin]# ./zkServer.sh status
JMX enabled by default
Using config: /usr/local/webserver/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower
|
idc02-kafka-ds-04：
|
1
2
3
4
5
|
[hadoop@idc02-kafka-ds-04bin]# ./zkServer.sh status
JMXenabledbydefault
Usingconfig:/usr/local/webserver/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode:follower
|
再查看集群情况
仍然在idc02-kafka-ds-01上查看
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
[hadoop@idc02-kafka-ds-01 bin]$ echo mntr|nc localhost 2181
zk_version 3.4.6-1569965, built on 02/20/2014 09:09 GMT
zk_avg_latency 0
zk_max_latency 0
zk_min_latency 0
zk_packets_received 4
zk_packets_sent 3
zk_num_alive_connections 1
zk_outstanding_requests 0
zk_server_state leader
zk_znode_count 4
zk_watch_count 0
zk_ephemerals_count 0
zk_approximate_data_size 27
zk_open_file_descriptor_count 31
zk_max_file_descriptor_count 65535
zk_followers 4
zk_synced_followers 4
zk_pending_syncs 0
|
可以看到zk_followers为4，连接到的follower从2变为4了
而且zk_synced_followers为4，说明新加入的2个也都同步好了
接下来我们滚动重启myid为1-3的前三台机器
先处理idc02-kafka-ds-00
关闭
如不放心请在关闭其间于
Leader机器或后加入的两台机器上监控日志
|
1
2
3
4
5
|
[hadoop@idc02-kafka-ds-00bin]$./zkServer.shstop
JMXenabledbydefault
Usingconfig:/usr/local/webserver/zookeeper-3.4.6/bin/../conf/zoo.cfg
Stoppingzookeeper...STOPPED
|
修改其配置文件
由原来的
|
1
2
3
4
|
server.1=10.1.24.110:2888:3888
server.2=10.1.24.111:2888:3888
server.3=10.1.24.112:2888:3888
|
到新的
|
1
2
3
4
5
6
|
server.1=10.1.24.110:2888:3888
server.2=10.1.24.111:2888:3888
server.3=10.1.24.112:2888:3888
server.4=10.1.24.113:2888:3888
server.5=10.1.24.114:2888:3888
|
启动
|
1
2
3
4
5
6
7
8
9
|
[hadoop@idc02-kafka-ds-00 bin]$ ./zkServer.sh start
JMX enabled by default
Using config: /usr/local/webserver/zookeeper-3.4.6/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[hadoop@idc02-kafka-ds-00 bin]$ ./zkServer.sh status
JMX enabled by default
Using config: /usr/local/webserver/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower
|
然后跳过作为Leader的idc02-kafka-ds-01，先处理idc02-kafka-ds-02
关闭
|
1
2
3
4
5
|
[hadoop@idc02-kafka-ds-02bin]$./zkServer.shstop
JMXenabledbydefault
Usingconfig:/usr/local/webserver/zookeeper-3.4.6/bin/../conf/zoo.cfg
Stoppingzookeeper...STOPPED
|
修改配置文件
|
1
2
3
4
5
6
|
server.1=10.1.24.110:2888:3888
server.2=10.1.24.111:2888:3888
server.3=10.1.24.112:2888:3888
server.4=10.1.24.113:2888:3888
server.5=10.1.24.114:2888:3888
|
启动
|
1
2
3
4
5
6
7
8
9
|
[hadoop@idc02-kafka-ds-02bin]$./zkServer.shstart
JMXenabledbydefault
Usingconfig:/usr/local/webserver/zookeeper-3.4.6/bin/../conf/zoo.cfg
Startingzookeeper...STARTED
[hadoop@idc02-kafka-ds-02bin]$./zkServer.shstatus
JMXenabledbydefault
Usingconfig:/usr/local/webserver/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode:follower
|
最后处理原Leader的idc02-kafka-ds-01
关闭
|
1
2
3
4
5
|
[hadoop@idc02-kafka-ds-01 bin]$ ./zkServer.sh stop
JMX enabled by default
Using config: /usr/local/webserver/zookeeper-3.4.6/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED
|
查看新Leader
ZooKeeper会尽可能的选择myid最大的机器为Leader，因此原本的idc02-kafka-ds-04其myid为5变为了Leader
|
1
2
3
4
5
|
[hadoop@idc02-kafka-ds-04bin]# ./zkServer.sh status
JMXenabledbydefault
Usingconfig:/usr/local/webserver/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode:leader
|
修改配置文件
|
1
2
3
4
5
6
|
server.1=10.1.24.110:2888:3888
server.2=10.1.24.111:2888:3888
server.3=10.1.24.112:2888:3888
server.4=10.1.24.113:2888:3888
server.5=10.1.24.114:2888:3888
|
启动
|
1
2
3
4
5
6
7
8
9
|
[hadoop@idc02-kafka-ds-01bin]$./zkServer.shstart
JMXenabledbydefault
Usingconfig:/usr/local/webserver/zookeeper-3.4.6/bin/../conf/zoo.cfg
Startingzookeeper...STARTED
[hadoop@idc02-kafka-ds-01bin]$./zkServer.shstatus
JMXenabledbydefault
Usingconfig:/usr/local/webserver/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode:follower
|
在新的Leader上查看集群情况
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
[hadoop@idc02-kafka-ds-04 bin]# echo mntr|nc localhost 2181
zk_version 3.4.6-1569965, built on 02/20/2014 09:09 GMT
zk_avg_latency 1
zk_max_latency 4
zk_min_latency 0
zk_packets_received 12
zk_packets_sent 11
zk_num_alive_connections 1
zk_outstanding_requests 0
zk_server_state leader
zk_znode_count 4
zk_watch_count 0
zk_ephemerals_count 0
zk_approximate_data_size 27
zk_open_file_descriptor_count 33
zk_max_file_descriptor_count 65535
zk_followers 4
zk_synced_followers 4
zk_pending_syncs 0
|
一切正常
到这里，我们已经将原本的3台扩展到了5台，成功了一半。
然后只要将现在的5台再缩小到3台且不包括原本
myid为1-2的机器，就完成了迁移
将5台缩小回3台
修改idc02-kafka-ds-02
根据前面的注意事项，我们此时5台集群中启动的数量不得少于3台，因此我们需要先修改
3-5号机器的配置文件为3台，再关闭1-2号机器
关闭
|
1
2
3
4
5
|
[hadoop@idc02-kafka-ds-02bin]$./zkServer.shstop
JMXenabledbydefault
Usingconfig:/usr/local/webserver/zookeeper-3.4.6/bin/../conf/zoo.cfg
Stoppingzookeeper...STOPPED
|
修改配置文件为
|
1
2
3
4
|
server.3=10.1.24.110:2888:3888
server.4=10.1.24.111:2888:3888
server.5=10.1.24.112:2888:3888
|
启动
|
1
2
3
4
5
6
7
8
9
|
[hadoop@idc02-kafka-ds-02bin]$./zkServer.shstart
JMXenabledbydefault
Usingconfig:/usr/local/webserver/zookeeper-3.4.6/bin/../conf/zoo.cfg
Startingzookeeper...STARTED
[hadoop@idc02-kafka-ds-02bin]$./zkServer.shstatus
JMXenabledbydefault
Usingconfig:/usr/local/webserver/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode:follower
|
然后修改idc02-kafka-ds-03
关闭
|
1
2
3
4
5
|
[hadoop@idc02-kafka-ds-03 bin]# ./zkServer.sh stop
JMX enabled by default
Using config: /usr/local/webserver/zookeeper-3.4.6/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED
|
修改配置文件为
|
1
2
3
4
|
server.3=10.1.24.110:2888:3888
server.4=10.1.24.111:2888:3888
server.5=10.1.24.112:2888:3888
|
启动
|
1
2
3
4
5
6
7
8
9
|
[hadoop@idc02-kafka-ds-03 bin]$ ./zkServer.sh start
JMX enabled by default
Using config: /usr/local/webserver/zookeeper-3.4.6/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[hadoop@idc02-kafka-ds-03 bin]$ ./zkServer.sh status
JMX enabled by default
Using config: /usr/local/webserver/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower
|
最后修改idc02-kafka-ds-04
关闭
|
1
2
3
4
5
|
[hadoop@idc02-kafka-ds-04bin]$./zkServer.shstop
JMXenabledbydefault
Usingconfig:/usr/local/webserver/zookeeper-3.4.6/bin/../conf/zoo.cfg
Stoppingzookeeper...STOPPED
|
关闭后
Leader移动到了myid第二大的idc02-kafka-ds-02上
修改配置文件为
|
1
2
3
4
|
server.3=10.1.24.110:2888:3888
server.4=10.1.24.111:2888:3888
server.5=10.1.24.112:2888:3888
|
启动
|
1
2
3
4
5
6
7
8
9
|
[hadoop@idc02-kafka-ds-04bin]$./zkServer.shstart
JMXenabledbydefault
Usingconfig:/usr/local/webserver/zookeeper-3.4.6/bin/../conf/zoo.cfg
Startingzookeeper...STARTED
[hadoop@idc02-kafka-ds-04bin]$./zkServer.shstatus
JMXenabledbydefault
Usingconfig:/usr/local/webserver/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode:follower
|
在Leader中查看
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
[hadoop@idc02-kafka-ds-03 bin]$ echo mntr|nc localhost 2181
zk_version 3.4.6-1569965, built on 02/20/2014 09:09 GMT
zk_avg_latency 0
zk_max_latency 0
zk_min_latency 0
zk_packets_received 4
zk_packets_sent 3
zk_num_alive_connections 1
zk_outstanding_requests 0
zk_server_state leader
zk_znode_count 4
zk_watch_count 0
zk_ephemerals_count 0
zk_approximate_data_size 27
zk_open_file_descriptor_count 27
zk_max_file_descriptor_count 65535
zk_followers 2
zk_synced_followers 2
zk_pending_syncs 0
|
此时的zk_followers为2，说明Leader已经不认1-2号机器了
关闭1-2号机器
关闭idc02-kafka-ds-00
|
1
2
3
4
5
|
[hadoop@idc02-kafka-ds-00bin]$./zkServer.shstop
JMXenabledbydefault
Usingconfig:/usr/local/webserver/zookeeper-3.4.6/bin/../conf/zoo.cfg
Stoppingzookeeper...STOPPED
|
关闭idc02-kafka-ds-01
|
1
2
3
4
5
|
[hadoop@idc02-kafka-ds-01 bin]$ ./zkServer.sh stop
JMX enabled by default
Using config: /usr/local/webserver/zookeeper-3.4.6/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED
|
再查看
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
[hadoop@idc02-kafka-ds-03bin]$echomntr|nclocalhost2181
zk_version 3.4.6-1569965,builton02/20/201409:09GMT
zk_avg_latency 0
zk_max_latency 0
zk_min_latency 0
zk_packets_received5
zk_packets_sent4
zk_num_alive_connections 1
zk_outstanding_requests0
zk_server_stateleader
zk_znode_count 4
zk_watch_count 0
zk_ephemerals_count0
zk_approximate_data_size 27
zk_open_file_descriptor_count 27
zk_max_file_descriptor_count 65535
zk_followers 2
zk_synced_followers2
zk_pending_syncs 0
|
没有任何影响
实验成功
ZooKeeper在线迁移的更多相关文章
- 基于本地存储的kvm虚拟机在线迁移
基于本地存储的kvm虚拟机在线迁移 kvm虚拟机迁移分为4种(1)热迁移基于共享存储(2)热迁移基于本地存储(3)冷迁移基于共享存储(4)冷迁移基于本地存储 这里介绍的是基于本地存储的热迁移 动态块迁 ...
- Oracle 12C 新特性之表分区或子分区的在线迁移
Oracle 12c 中迁移表分区或子分区到不同的表空间不再需要复杂的过程.与之前版本中未分区表进行在线迁移类似,表分区或子分区可以在线或是离线迁移至一个不同的表空间.当指定了 ONLINE 语句,所 ...
- Redis Cluster高可用集群在线迁移操作记录【转】
之前介绍了redis cluster的结构及高可用集群部署过程,今天这里简单说下redis集群的迁移.由于之前的redis cluster集群环境部署的服务器性能有限,需要迁移到高配置的服务器上.考虑 ...
- OpenStack平台虚拟机实例在线迁移失败问题
一.在线迁移时提示如下的报错 二.原因分析 通过kolla-ansible部署queens版本时,因为OEM的机器设备的UUID记录的一致,导致迁移时识别的是自身机器的UUID,导致迁移失败 三.问题 ...
- Redis Cluster 4.0高可用集群安装、在线迁移操作记录
之前介绍了redis cluster的结构及高可用集群部署过程,今天这里简单说下redis集群的迁移.由于之前的redis cluster集群环境部署的服务器性能有限,需要迁移到高配置的服务器上.考虑 ...
- Redis Cluster在线迁移
由于之前的redis cluster物理硬件性能不足.决定升级到更好的服务器上.考虑到redis是核心生产数据库,决定在线迁移,迁移过程,不中断服务. 下面是测试环境的完成迁移步骤:1. 原环境(测试 ...
- Redis Cluster高可用集群在线迁移操作记录
之前介绍了redis cluster的结构及高可用集群部署过程,今天这里简单说下redis集群的迁移.由于之前的redis cluster集群环境部署的服务器性能有限,需要迁移到高配置的服务器上.考虑 ...
- MongoDB副本集配置系列五：副本集的在线迁移
MongoDB副本集的在线迁移 查看当前集群的状态: { "setName" : "gechongrepl", "setVersion" : ...
- 开启vmotion，实现虚拟机可以在线迁移的选项
先决条件: 1.vcenter5.5 2.vmotion服务开启 3.分布式交换机已经部署完毕 4.虚拟机在线迁移必须在web管理下,在vclient不可以
随机推荐
- “Hello World!“”团队第五周召开的第二次会议
今天是我们团队“Hello World!”团队第五周召开的第二次会议.也祝大家双十一快乐~~博客内容: 一.会议时间 二.会议地点 三.会议成员 四.会议内容 五.todo list 六.会议照片 七 ...
- 2018软工实践—Alpha冲刺(7)
队名 火箭少男100 组长博客 林燊大哥 作业博客 Alpha 冲鸭鸭鸭鸭鸭鸭鸭! 成员冲刺阶段情况 林燊(组长) 过去两天完成了哪些任务 协调各成员之间的工作 学习MSI.CUDA 试运行软件并调试 ...
- mininet实验 可视化界面形成拓扑
参考博客一 参考博客二 实验目的 mininet中内置了一个mininet可视化工具:miniedit.miniedit在mininet/mininet/examples目录下提供miniedit.p ...
- 2016-2017 ACM-ICPC, NEERC, Northern Subregional Contest Problem F. Format
题目来源:http://codeforces.com/group/aUVPeyEnI2/contest/229510 时间限制:1s 空间限制:512MB 题目大意: 给定一个字符串,使用%[...] ...
- Alpha事后诸葛（团队）
[设想和目标] Q1:我们的软件要解决什么问题?是否定义得很清楚?是否对典型用户和典型场景有清晰的描述? "小葵日记"是为了解决18-30岁年轻用户在记录生活时希望得到一美体验友好 ...
- lintcode-415-有效回文串
415-有效回文串 给定一个字符串,判断其是否为一个回文串.只包含字母和数字,忽略大小写. 注意事项 你是否考虑过,字符串有可能是空字符串?这是面试过程中,面试官常常会问的问题. 在这个题目中,我们将 ...
- "Scrum站立会议"浅析
目录 Scrum Scrum Meeting功能及要点 Scrum Meeting点评 Scrum 定义:是一种软件开发流程.它并不是一项技术,这种开发方式的主要驱动核心是人,它采用的是迭代式开发. ...
- 【linux】linux的数据流重定向
首先说一下什么是数据流重定向,所谓数据流重定向简单来说就是一个过程,这个过程捕捉一个文件,或者命令,程序,脚本,甚至脚本中的代码块(code block)的输出,然后把捕捉到的输出,作为输入发送给另外 ...
- LoadRunner录制用户操作
先说明一点,使用录制的手段拿到的测试脚本和工程师自己编写的测试脚本其实是一样的,不要觉得录制的方式low,而自己编写脚本就显得高大上,这是不对的.除非工程师本身对开发们写的代码逻辑很熟,对业务上的各个 ...
- BZOJ 2109 航空管制(拓扑排序+贪心)
绝世好题啊.. 题意:给出一个DAG,和每个点要求出现在这个DAG里面的拓扑排序的位置<=ti,求出所有可能的拓扑排序里面每个点出现的位置的最小值. 正着做不好做,考虑反着做,建立这个图的反图. ...