一招教你如何修复MySQL slave中继日志损坏问题

【摘要】MySQL的Crash safe slave是指slave crash后，把slave重新拉起来可以继续从Master进行复制，不会出现复制错误也不会出现数据不一致。

PS：华为云数据库特惠专场钜惠来袭，全场10元起购，直降108000元！新购满额送P30 Pro，点此抢购。

Contents

1 背景

2 Relay log的获取与应用

2.1 源码分析

2.1.1 配置参数relay_log_recovery=OFF重启后，slave机制与源码

2.1.2 配置参数relay_log_recovery=ON重启后，slave机制与源码

3 修复计划

3.1 具体实现思路

3.2 流程图

4 总结

1 背景

MySQL的Crash safe slave是指slave crash后，把slave重新拉起来可以继续从Master进行复制，不会出现复制错误也不会出现数据不一致。为保证crash safe slave，需解决由于未同步刷盘导致的binlog文件接收位置和实际不一致或者relay log文件不完整的问题，因此relay_log_recovery为ON是必需配置参数之一。但是设置relay_log_recovery为ON会导致MySQL正常重启或者宕机恢复时以备库的SQL线程执行位置为起点重新向主库请求binlog，可能由于之前主备时延大，请求点的binlog已被主机清除，最终导致主备复制关系异常，因此设置relay_log_recovery为OFF是生产环境常见的设置。但是，此设置在OS的oom-killer事件以及OS异常断电等情况可能导致备库relay log的部分event不完整， MySQL重启后，SQL线程回放执行到不完整的event就会导致主备复制关系中断，查看error.log可以看到类似如下的错误信息：

2 Relay log的获取与应用

MySQL支持的复制方式按连接协议来区分，可以分为

• 非GTID模式，通过binlog文件名和文件的偏移来决定复制位点信息

• GTID模式，通过GTID信息来决定复制位点信息

2.1 源码分析

2.1.1 配置参数relay_log_recovery=OFF重启后，slave机制与源码

1）基于binlog复制（非GTID）模式，MySQL重启后，重连主库时，备库的IO线程读取slave_master_info表记录的master_log_name以及master_log_pos值向主库请求binlog。

1.  |-init_slave()
2.  /* read all the slave repositories on disk (either in FILE or TABLE form) and create corresponding slave info objects
3.  */
4.    |-Rpl_info_factory::create_slave_info_objects
5.       |-load_mi_and_rli_from_repositories
6.         |-Master_info::mi_init_info()
7.  /* Creates or reads information from the repository, initializing the Master_info.*/
8.           |-Master_info::read_info()
9.             |-get_info()
10.            //初始化mi master_log_pos && master_log_name  

备库的SQL线程读取slave_relay_log_info表记录的relay_log_name以及relay_log_pos值开始应用relay log。

1.  |-init_slave()
2.     |-Rpl_info_factory::create_slave_info_objects
3.       |-load_mi_and_rli_from_repositories
4.         |-Relay_log_info::rli_init_info
5.           |-Relay_log_info::read_info()
6.           //rli group_relay_log_pos && group_master_log_pos &&
7.           group_relay_log_name && group_master_log_name  

2）基于GTID复制模式，MySQL重启后，重连主库时，备库的IO线程通过读取mysql.gtid_executed表以及binlog文件获取Executed_Gtid_Set，通过读取realy_log文件获取Retrieved_Gtid_Set，并将两者的并集发送到主库请求binlog。

1.  mysqld_main ()
2.   //读持久化介质mysql.gtid_executed表
3.   |-Gtid_state::read_gtid_executed_from_table ()
4.   //读持久化介质binlog
5.   |-MYSQL_BIN_LOG::init_gtid_sets ()
6.   |-init_slave ()
7.    |-Rpl_info_factory::create_slave_info_objects ()
8.     |-load_mi_and_rli_from_repositories ()
9.      |-Relay_log_info::rli_init_info ()
10.      |-MYSQL_BIN_LOG::init_gtid_sets ()
11.       |-Relay_log_info::init_relay_log_pos ()  

对于备库的SQL线程其应用relay log的起始从slave_relay_log_info表读取，其执行过程如果发现事务的gtid已经存在，则ev->apply_event时就会忽略这个事务，保证不会重复执行同一个事务。

2.1.2 配置参数relay_log_recovery=ON重启后，slave机制与源码

当参数relay_log_recovery为ON，不论是单线程还是多线程回放，MySQL正常重启或者宕机恢复时以备库的SQL线程执行位置为起点重新向主库请求binlog。基于binlog复制发送的是slave_relay_log_info表读取relay_log_name以及Relay_log_pos值。基于GTID复制模式发送的是备库执行完的gtid_sets。

1.  static void recover_relay_log(Master_info *mi)
2.  {
3.    Relay_log_info *rli=mi->rli;
4.    // Set Receiver Thread's positions as per the recovered Applier Thread.
5.    mi->set_master_log_pos(max<ulonglong>(BIN_LOG_HEADER_SIZE,
6.                                          rli->get_group_master_log_pos()));
7.    mi->set_master_log_name(rli->get_group_master_log_name());
8.    rli->set_group_relay_log_name(rli->relay_log.get_log_fname());
9.    rli->set_event_relay_log_name(rli->relay_log.get_log_fname());
10.   rli->set_group_relay_log_pos(BIN_LOG_HEADER_SIZE);
11.   rli->set_event_relay_log_pos(BIN_LOG_HEADER_SIZE);
12. }  

3 修复计划

当备库配置master_info_repository与relay_log_info_repository都为TABLE时，对于SQL线程而言，会在一个事务提交的同时更新表slave_relay_log_info，其得到原子性保证，即SQL线程执行位置始终是对的。但异常宕机可能导致丢失master info，IO线程会dump到重复的日志和SQL线程可能会重复执行同一个事务，这样就会导致主备复制出错，这样对于非gtid复制的模式，所以为保证主备正常且数据一致，relay_log_recovery=ON为Crash safe slave必需参数。

但是如果开启了gtid就可以避免上述问题，GTID复制协议保证了数据的一致性，且ev->apply_event时会忽略已执行的事务。因此对于备库设置为relay_log_recovery=OFF的配置，relay log文件中可能存在的损坏的event可直接清除，避免出现主备复制关系异常。

3.1 具体实现思路

方案：

1、在MySQL启动初始化过程中进行损坏relay log（不完整event）修复。

2、在初始化Gtid_sets的MYSQL_BIN_LOG:init_gtid_set()处，若配置参数设置了功能启动开关rds_recovery_relay_log=ON，则进入下面流程。

3、扫描relay log时，判断其是否是正常关闭，非正常关闭则进入修复检测流程。

4、读取非正常关闭relay log文件，遍历其event，并记录更新合法的event的位置，若存在非完整event则退出，返回记录的最新合法event位置。

4、根据返回的合法event位置截断relay log，清除文件中损坏的部分。

5、后续流程正常进行

3.2 流程图

4 总结

设置rds_relay_log_recovery参数设置为ON，可解决OS宕机等情况导致MySQL备库的relay log的不完整导致主备异常情况。建议使用方法，在OS宕机等情况，重启mysql服务时，设置开启rds_relay_log_recovery=ON，可预防relay_log_recovery=ON的潜在缺点即自sql thread执行完的gtid起请求的binlog已被master purge。

最后，华为云数据库特惠专场钜惠来袭，比自建好用还省钱，全场10元起购，直降108000元，新购满额送P30 Pro，点此抢购。