MySQL-17-MHA高可用技术

---

---

---

环境准备

环境准备

至少准备3台独立的虚拟机数据库实例，建议4台

这里实验只准备3台，需要配置好 基于GTID的主从复制，具体怎么配置可以参看前面的章节
db01 10.0.0.51		主库
db02 10.0.0.52		从库
db03 10.0.0.53		从库 +  MHA  +  额外的数据补偿服务(binlog-server)

基础架构

软件包

MHA软件包

MHA 架构软件结构说明

1 节点规划
manager端: db03
node端: db01,db02,db03
1主2从,独立数据库实例

2 MHA软件的构成(perl语言)
2.1 Manager工具包主要包括以下几个工具：
mha4mysql-manager-0.56-0.el6.noarch.rpm

masterha_manager            启动MHA
masterha_check_ssh          检查MHA的SSH配置状况
masterha_check_repl         检查MySQL复制状况
masterha_master_monitor     检测master是否宕机
masterha_check_status       检测当前MHA运行状态
masterha_master_switch      控制故障转移（自动或者手动）
masterha_conf_host          添加或删除配置的server信息
masterha_stop               停止MHA服务

2.2 Node工具包主要包括以下几个工具：
mha4mysql-node-0.56-0.el6.noarch.rpm
这些工具通常由MHA Manager的脚本触发，无需人为操作
save_binary_logs            保存和复制master的二进制日志
apply_diff_relay_logs       识别差异的中继日志事件并将其差异的事件应用于其他的
purge_relay_logs            清除中继日志（不会阻塞SQL线程）

MHA FailOver过程详解

1 什么是Failover?
故障转移.
主库宕机一直到业务恢复正常的处理过程(自动)

2 Failover让你实现怎么做?
	(1) 快速监控到主库宕机
	(2) 选择新主
	(3) 数据补偿
	(4) 解除从库身份
	(5) 剩余从库和新主库构建主从关系
	(6) 应用透明
	(7) 故障节点自愈(待开发...)
	(8) 故障提醒

3 MHA的Failover如何实现?
	从启动--->故障--->转移--->业务恢复
	(1) MHA通过masterha_manger脚本启动MHA的功能.
	(2) 在manager启动之前,会自动检查ssh互信(masterha_check_ssh)和主从状态(masterha_check_repl)
	(3) MHA-manager 通过 masterha_master_monitor脚本(每隔ping_interval秒)
	(4) masterha_master_monitor探测主库3次无心跳之后,就认为主库宕机了.
	(5) 进行选主过程
		  算法一:
		    读取配置文件中是否有强制选主的参数?
		    candidate_master=1
		    check_repl_delay=0
		  算法二:
		    自动判断所有从库的日志量.将最接近主库数据的从库作为新主.
		  算法三:
		    按照配置文件先后顺序的进行选新主.

		  扩展一下:
		  candidate_master=1的应用场景?
		    1 MHA+KeepAlive VIP(早期MHA架构)
		    2 多地多中心
	(6) 数据补偿
		  判断主库SSH的连通性
		  情况一: SSH能连
		    调用 save_binary_logs脚本,立即保存缺失部分的binlog到各个从节点,恢复
		  情况二: SSH无法连接
		    调用 apply_diff_relay_logs 脚本,计算从库的relaylog的差异,恢复到2号从库
		  (6.1) 提供额外的数据补偿的功能  @@
	(7)  解除从库身份
	(8)  剩余从库和新主库构建主从关系
	(9)  应用透明  @@
	(10) 故障节点自愈(待开发...)@@
	(11) 故障提醒@@

搭建

配置关键程序软连接，这一步一定要配置，据说是程序里面写死了路径。在3台服务器上都要执行

ln -s /application/mysql/bin/mysqlbinlog    /usr/bin/mysqlbinlog
ln -s /application/mysql/bin/mysql          /usr/bin/mysql

配置互信（这里的思维是在db01创建锁和钥匙，然后把锁和钥匙发给db02,db03，这样大家的锁和钥匙都一样了）

db01：
rm -rf /root/.ssh
ssh-keygen
cd /root/.ssh
mv id_rsa.pub authorized_keys
scp  -r  /root/.ssh  10.0.0.52:/root
scp  -r  /root/.ssh  10.0.0.53:/root 

各节点验证：为了以后ssh的时候不再需要输入yes，命令一条一条的执行，不要3条一起执行
db01:
ssh 10.0.0.51 date
ssh 10.0.0.52 date
ssh 10.0.0.53 date
db02:
ssh 10.0.0.51 date
ssh 10.0.0.52 date
ssh 10.0.0.53 date
db03:
ssh 10.0.0.51 date
ssh 10.0.0.52 date
ssh 10.0.0.53 date

安装软件包(所有节点都要执行)

前言中的软件包上传到/server/tools目录
cd /server/tools
yum install perl-DBD-MySQL -y
rpm -ivh mha4mysql-node-0.56-0.el6.noarch.rpm

在db01主库中创建mha需要的用户（db01）

grant all privileges on *.* to mha@'10.0.0.%' identified by 'mha';
flush privileges;

Manager软件安装（db03）

yum install -y perl-Config-Tiny epel-release perl-Log-Dispatch perl-Parallel-ForkManager perl-Time-HiRes
rpm -ivh mha4mysql-manager-0.56-0.el6.noarch.rpm

配置文件准备(db03)

创建配置文件目录
mkdir -p /etc/mha
创建日志目录
mkdir -p /var/log/mha/app1
编辑mha配置文件
cat > /etc/mha/app1.cnf <<EOF
[server default]
manager_log=/var/log/mha/app1/manager
manager_workdir=/var/log/mha/app1
master_binlog_dir=/data/binlog
user=mha						        # mha管理的账号
password=mha                 			        # mha管理的密码
ping_interval=2					        # 检测主机是否存活的间隔，2s。默认会检查3次，那么就是6秒
repl_password=123					# 主从复制用户的密码
repl_user=repl						# 主从复制用户的账号
ssh_user=root                   			        # ssh连接用的账号密码
[server1]
hostname=10.0.0.51
port=3306
[server2]
hostname=10.0.0.52
port=3306
[server3]
hostname=10.0.0.53
port=3306
EOF

状态检查(db03)

SSH连接检查
[root@db03 tools]# masterha_check_ssh  --conf=/etc/mha/app1.cnf
Thu Dec 19 16:54:27 2019 - [debug]   ok.
Thu Dec 19 16:54:28 2019 - [info] All SSH connection tests passed successfully.

MySQL复制检查
[root@db03 tools]# masterha_check_repl  --conf=/etc/mha/app1.cnf
Thu Dec 19 16:55:02 2019 - [info]  ok.
Thu Dec 19 16:55:02 2019 - [warning] master_ip_failover_script is not defined.
Thu Dec 19 16:55:02 2019 - [warning] shutdown_script is not defined.
Thu Dec 19 16:55:02 2019 - [info] Got exit code 0 (Not master dead).
MySQL Replication Health is OK.

开启MHA(db03)

nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover  < /dev/null> /var/log/mha/app1/manager.log 2>&1 &

查看MHA状态

[root@db03 tools]# masterha_check_status --conf=/etc/mha/app1.cnf
app1 (pid:8535) is running(0:PING_OK), master:10.0.0.51

MHA 应用透明(vip)

db03:复制脚本到指定的目录（perl脚本）
cp /server/tools/master_ip_failover.txt /usr/local/bin/master_ip_failover

# 修改一下eth1改为eth0
vim /usr/local/bin/master_ip_failover
my $vip = '10.0.0.55/24';
my $key = '1';
my $ssh_start_vip = "/sbin/ifconfig eth0:$key $vip";
my $ssh_stop_vip = "/sbin/ifconfig eth0:$key down";

# 转换一下格式（注意：一定要加执行权限，不然可能导致MHA启动不了）
[root@db03 bin]# yum install -y  dos2unix
[root@db03 bin]# dos2unix /usr/local/bin/master_ip_failover
[root@db03 bin]# chmod +x /usr/local/bin/master_ip_failover 

# 修改MHA的配置文件，把vip的功能添加进去
[root@db03 bin]# vim /etc/mha/app1.cnf
[server default]
master_ip_failover_script=/usr/local/bin/master_ip_failover

db01:手工添加vip
[root@db01 ~]# ifconfig eth0:1 10.0.0.55/24

db03 : 重启MHA
[root@db03 bin]# masterha_stop --conf=/etc/mha/app1.cnf
[root@db03 bin]# nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover  < /dev/null> /var/log/mha/app1/manager.log 2>&1 &

db03：检查一下状态
[root@db03 bin]# masterha_check_status --conf=/etc/mha/app1.cnf
app1 (pid:14410) is running(0:PING_OK), master:10.0.0.51

MHA 故障提醒(db03)

# 拷贝发送邮件的脚本到对应的目录，这里建议不要修改目录
[root@db03 tools]# cp /server/tools/send /usr/local/bin/
[root@db03 tools]# cp /server/tools/sendEmail /usr/local/bin/
[root@db03 tools]# cp /server/tools/testpl /usr/local/bin/
[root@db03 ~]# cd /usr/local/bin/
[root@db03 tools]# chmod +x send
[root@db03 tools]# chmod +x sendEmail
[root@db03 tools]# chmod +x testpl 

# 查看测试脚本
[root@db03 bin]# cat testpl
#!/bin/bash
/usr/local/bin/sendEmail -o tls=no -f 13142209450@163.com -t 1029612787@qq.com -s smtp.163.com:25 -xu 13142209450 -xp abc123 -u "MHA Waring" -m "YOUR MHA MAY BE FAILOVER" &>/tmp/sendmail.log

# 测试邮件发送是否成功
[root@db03 bin]# ./testpl 

# MHA配置文件添加邮件发送功能，注意这里是send不是testpl文件
[root@db03 bin]# vim /etc/mha/app1.cnf
[server default]
report_script=/usr/local/bin/send

# 重启MHA:
[root@db03 bin]# masterha_stop --conf=/etc/mha/app1.cnf
[root@db03 bin]# nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover  < /dev/null> /var/log/mha/app1/manager.log 2>&1 &

额外的数据补偿(binlog_server)

找一台额外的机器，必须要有5.6以上的版本，支持gtid并开启，我们直接用的第二个slave（db03）
vim /etc/mha/app1.cnf
[binlog1]
no_master=1								# 不参与选主
hostname=10.0.0.53
master_binlog_dir=/data/mysql/binlog

创建必要目录（注意，如果是MHA和db03在一台服务器是话，那么数据库binlog日志的目录和这里的日志目录一定不能一样！）
mkdir -p /data/mysql/binlog
chown -R mysql.mysql /data/*

拉取主库binlog日志
cd /data/mysql/binlog     ----->必须进入到自己创建好的目录

注意：拉取日志的起点,需要按照目前主库正在使用的binlog为起点.
mysqlbinlog  -R --host=10.0.0.51 --user=mha --password=mha --raw  --stop-never mysql-bin.000001 &

重启MHA-manager
[root@db03 bin]# masterha_stop --conf=/etc/mha/app1.cnf
[root@db03 bin]# nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover  < /dev/null> /var/log/mha/app1/manager.log 2>&1 &

故障模拟及故障处理

1 宕掉 db01 数据库
[root@db01 ~]# systemctl stop mysqld
  停止以后，MHA服务器会自动做出以下反应：
	  1.managerha_master管理进程自动退出
	  2.发送邮件到指定的邮箱
	  3.选举出新的主库，即VIP漂移到另外一台数据库
	  4.修改配置，剔除db01

2 恢复故障
2.1 启动故障节点(db01)
[root@db01 ~]# systemctl start mysqld

2.2 恢复1主2从
db03:
[root@db03 bin]# grep "CHANGE MASTER TO"  /var/log/mha/app1/manager
Thu Jul 18 18:31:54 2019 - [info]  All other slaves should start replication from here. Statement should be: CHANGE MASTER TO MASTER_HOST='10.0.0.52', MASTER_PORT=3306, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='xxx';

db01:
db01 [(none)]>CHANGE MASTER TO MASTER_HOST='10.0.0.52', MASTER_PORT=3306, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';
db01 [(none)]>start slave;

2.3 恢复配置文件(db03)
[root@db03 binlog]# vim /etc/mha/app1.cnf
[server1]
hostname=10.0.0.51
port=3306

2.4 启动MHA
[root@db03 bin]# nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover  < /dev/null> /var/log/mha/app1/manager.log 2>&1 &
[1] 16543
[root@db03 bin]# masterha_check_status --conf=/etc/mha/app1.cnf
app1 (pid:16543) is running(0:PING_OK), master:10.0.0.52

2.5 恢复binlogserver
cd /data/mysql/binlog
rm -rf /data/mysql/binlog/*

注意：拉取日志的起点,需要按照目前主库正在使用的binlog为起点.
mysqlbinlog  -R --host=10.0.0.52 --user=mha --password=mha --raw  --stop-never mysql-bin.000001 &