kudu集群：kudu_master、kudu_tserver服务及数据的迁移（根据官网总结）

是不是都需要一个声明，来一个：

声明：

本文只是总结本人本地模拟环境测试，并没有经过严格的线上测试。请自己在本地严格测试之后慎重使用在生产环境！

kudu_master、kudu_tserver服务迁移时候会涉及数据的迁移，概括如下：

1、kudu_master部署机器

172.16.100.1	kudu_master1	Leader
172.16.100.2	kudu_master2	Follower
172.16.100.3	kudu_master3	Follower

2、确认kudu集群健康状态，通过ksck命令查看

./kudu cluster ksck kudu_master1,kudu_master2,kudu_master3

注释：

kudu_master1,kudu_master2,kudu_master3：kudu_master服务所在机器的host

Version Summary
     Version     |         Servers
-----------------+-------------------------
 1.10.0-cdh6.3.1 | all 6 server(s) checked

Tablet Summary
Summary by table
           Name           | RF | Status  | Total Tablets | Healthy | Recovering | Under-replicated | Unavailable
--------------------------+----+---------+---------------+---------+------------+------------------+-------------
 impala::default.dd1      | 3  | HEALTHY | 1             | 1       | 0          | 0                | 0
 impala::default.dd2      | 3  | HEALTHY | 1             | 1       | 0          | 0                | 0
 impala::hxoffice_pri.dd3 | 3  | HEALTHY | 1             | 1       | 0          | 0                | 0

Tablet Replica Count Summary
   Statistic    | Replica Count
----------------+---------------
 Minimum        | 3
 First Quartile | 3
 Median         | 3
 Third Quartile | 3
 Maximum        | 3

Total Count Summary
                | Total Count
----------------+-------------
 Masters        | 3
 Tablet Servers | 3
 Tables         | 3
 Tablets        | 3
 Replicas       | 9

3、获取kudu集群master机器的UUID

./kudu local_replica cmeta print_replica_uuids --fs_wal_dir=/data/kudu/master --fs_data_dirs=/data/kudu/master  00000000000000000000000000000000 2>/dev/null

命令执行结果：

0ad919b7c68049a3bcf46abc029da8f6 909d4c97d0b948c6902e40f6968a3b8b 739298ec62504f898a71d4f6b92f908e

注释：

--fs_wal_dir=/data/kudu/master --fs_data_dirs=/data/kudu/master：该参数是kudu集群部署时候你指定的数据和日志路径，具体可在master.gflagfile文件查看

00000000000000000000000000000000 ：固定参数

4、在kudu的WEBUI界面确认自己需要迁移的master节点的UUID

5、迁移的机器的UUID

909d4c97d0b948c6902e40f6968a3b8b

6、在新增的kudu_master机器，把--fs_wal_dir=/data/kudu/master --fs_data_dirs=/data/kudu/master 这两个路径下的master目录干掉，没什么用

7、重新格式化--fs_wal_dir=/data/kudu/master --fs_data_dirs=/data/kudu/master 这个新增机器的数据目录

./kudu fs format --fs_wal_dir=/data/kudu/master --fs_data_dirs=/data/kudu/master --uuid=909d4c97d0b948c6902e40f6968a3b8b

注释：

--uuid：需要迁移的kudu_master节点机器的UUID，第5步，你已经确认你需要迁移的机器了

--fs_wal_dir=/data/kudu/master --fs_data_dirs=/data/kudu/master：这两个路径配置，上面已经说过了是数据和日志相关的路径配置，新增机器的配置维持原样

8、现在从正常的、存活的kudu_master节点复制一份完成数据到这个新增的机器上

./kudu local_replica copy_from_remote --fs_wal_dir=/data/kudu/master --fs_data_dirs=/data/kudu/master  00000000000000000000000000000000 hxb06:7051

注释：

--fs_wal_dir=/data/kudu/master --fs_data_dirs=/data/kudu/master：数据和日志相关配置目录，不要随意修改，按照你自己之前的配置来

00000000000000000000000000000000：固定参数

hxb06:7051：正常的、存活的kudu_master节点，之前准备迁移的那一台kudu_master机器已经停掉，这一步执行最好选择是kudu_master服务的LEADER角色

9、拷贝完之后，修改配置文件master.gflagfile、tserver.gflagfile

--master_addresses=172.16.100.1:7051,172.16.100.2:7051,172.16.100.4:7051(这一台是新增上来的机器)

10、每一台kudu_master节点执行，刷新当前kudu_master集群配置

./kudu local_replica cmeta rewrite_raft_config --fs_wal_dir=/data/kudu/master --fs_data_dirs=/data/kudu/master 00000000000000000000000000000000 909d4c97d0b948c6902e40f6968a3b8b:172.16.100.179:7051 0ad919b7c68049a3bcf46abc029da8f6:172.16.100.249:7051 739298ec62504f898a71d4f6b92f908e:172.16.101.230:7051

注释：

--fs_wal_dir=/data/kudu/master --fs_data_dirs=/data/kudu/master：老生常谈，这两个路径是你数据和日志相关路径

00000000000000000000000000000000：固定参数

909d4c97d0b948c6902e40f6968a3b8b  kudu_master机器的UUID（这个UUID，你去WEBUI界面上看，现在活着的kudu_master的UUID是什么，千万不要写错，kudu_master迁移完全依赖机器的UUID）

11、kudu_tserver服务和数据迁移

经查阅官网资料，kudu官网提供kudu cluster rebalance工具和自主恢复机制两种方式进行kudu_tserver节点的永久移除，考虑到该工具使用牵扯到gcc编译和版本要求，再者考虑到数据量并不是很大，故采用kudu集群自主迁移恢复机制进行kudu_tserver数据迁移，本地测试超过两次，均未造成数据丢失，操作比较简单

注释：
如果你想试一下balance工具，参考官网地址：
https://kudu.apache.org/docs/administration.html#tablet_server_decommissioning
https://kudu.apache.org/docs/administration.html#ksck

12、我使用的是kudu集群自主迁移恢复机制

1. 停掉一台需要迁移的kudu_tserver节点，保证活着的kudu_tserver至少三台，因为我的副本数设置的是3，仅仅如此

2.根据自主恢复机制，停机超5分钟后，该机器副本会自动迁移至其他活着的kudu_tserver节点

3. 重启kudu集群各个kudu_master、kudu_tserver服务

4. 使用ksck命令检查集群健康状态是否正常，检查kudu集群WEBUI界面是否已经移除掉迁移的kudu_tserver节点

至此，kudu_master、kudu_tserver服务及数据迁移完成，SOEASY!!!