1. MySQL主从同步实现方式

MySQL主从同步是基于Bin Log实现的,而Bin Log记录的是原始SQL语句。

Bin Log共有三种日志格式,可以binlog_format配置参数指定。

参数值 含义
Statement 记录原始SQL语句,会导致更新时间与原库不一致。
比如 update_time=now()
Row 记录每行数据的变化,保证了数据与原库一致,缺点是数据量较大。
Mixed Statement和Row的混合模式,默认采用Statement模式,涉及日期、函数相关的时候采用Row模式,既减少了数据量,又保证了数据一致性。

常见的主从同步架构有一主多从、双主多从。

2. MySQL主从同步的作用

  1. 读写分离,提升数据库性能
  2. 容灾恢复,主服务器不可用时,从服务器提供服务,提高可用性
  3. 冗余备份,主服务器数据损坏丢失,从服务器保留备份

一主多从架构:

一般是主库负责所有读写请求,而从库只负责容灾恢复和冗余备份。

如果做了读写分离的话,主库负责写请求,从库负责读请求,可以提升数据库性能。

双主多从架构:

一般是主库1负责所有读写请求,主库2不对外提供服务,只用来容灾恢复。

相比一主多从架构,双主多从架构可以减少宕机时间,更快恢复数据库可用状态。

3. 主动同步的原理

  1. 当主库数据发生变更时,写入本地Bin Log文件

  2. 从库IO线程发起dump主库Bin Log文件的请求

  3. 主库IO线程推送Bin Log文件到从库中

  4. 从库IO线程把Bin Log内容写入本地的Relay Log文件中

  5. 从库SQL线程读取Relay Log文件内容

  6. 从库SQL线程重新执行一遍SQL语句

4. 主从同步延迟问题

主从同步最常遇到的问题就是主从同步延迟,可以通过在从库上执行show slave status命令查看延迟时间,Seconds_Behind_Master表示延迟的秒数。

主从同步延迟的原因有哪些?

  1. 从库机器性能较差

    主库负责所有读写请求,从库只用来备份,会用性能较差的机器,执行时间自然较慢。

  2. 从库压力更大

    读写分离后,主库负责写请求,从库负责读请求。

    互联网应用一般读请求更多,所以从库读压力更大,占用更多CPU资源。

  3. 网络延迟

    当主库的Bin Log文件往从库上发送时,可能产生网络延迟,也会导致从库数据跟不上。

  4. 主库有大事务

    当主库上有个大事务需要执行5分钟,把Bin Log文件发送到从库,从库至少也需要执行5分钟,所以这时候从库就出现了5分钟的延迟。

主从同步延迟的解决方案?

  1. 从库机器性能较差

    把从库换成跟主库同等规格的机器。

  2. 从库压力更大

    多搞几台从库,分担读请求压力。

  3. 网络延迟

    联系运维或者云服务提供商解决。

  4. 主库有大事务

    把大事务分割成小事务执行,大事务不但会产生从库延迟,还可能产生死锁,降低数据库并发性能,所以尽量少用大事务。

5. 如何提升主从同步性能

1. 从库开启多线程复制

就是在主从同步的最后两步使用多线程,修改配置 slave_parallel_workers=4,代表开启4个复制线程。

2. 修改同步模式,改为异步

主从同步共有三种复制方式:

  1. 全同步复制

    当主库执行完一个事务,并且所有从库都执行完该事务后,才给客户端返回成功。

  2. 半同步复制

    至少有一个从库执行完成后,就给客户端返回成功。

  3. 异步复制

    主库执行完后,立即返回成功,不关心从库是否执行完成。

如果对数据安全性要求没那么高,可以把同步模式改成半同步复制或者异步复制。

3. 修改从库Bin Log配置

修改sync_binlog配置:

sync_binlog=0 ,表示写binlog不立即刷新磁盘,由系统决定什么时候刷新磁盘。

sync_binlog=1,每次写binlog都刷新磁盘,安全性高,性能差。

sync_binlog=N,写N次binlog才刷新磁盘。

从库对数据安全性要求没那么高,可以设置sync_binlog=0。

修改innodb_flush_log_at_trx_commit配置:

innodb_flush_log_at_trx_commit=0,每隔一秒钟,把事务日志刷新到磁盘。

innodb_flush_log_at_trx_commit=1,每次事务都刷新到磁盘。

innodb_flush_log_at_trx_commit=2,每次事务都不主动刷新磁盘,由系统决定什么时候刷新磁盘。

从库对数据安全性要求没那么高,可以设置innodb_flush_log_at_trx_commit=2。

知识点总结:

文章持续更新,可以微信搜一搜「 一灯架构 」第一时间阅读更多技术干货。

高级程序员必知必会,一文详解MySQL主从同步原理,推荐收藏的更多相关文章

  1. 【好程序员笔记分享】——UIView与CALayer详解

    -iOS培训,iOS学习-------型技术博客.期待与您交流!------------ UIView与CALayer详解 研究Core Animation已经有段时间了,关于Core Animati ...

  2. Android开发工程师面试题之handler详解。android程序员,android开发面试资料,详解

    Message:消息:其中包含了消息ID,消息对象以及处理的数据等,由MessageQueue统一列队,终由Handler处理 Handler:处理者:负责Message发送消息及处理.Handler ...

  3. .NET程序员项目开发必知必会—Dev环境中的集成测试用例执行时上下文环境检查(实战)

    Microsoft.NET 解决方案,项目开发必知必会. 从这篇文章开始我将分享一系列我认为在实际工作中很有必要的一些.NET项目开发的核心技术点,所以我称为必知必会.尽管这一系列是使用.NET/C# ...

  4. Android程序员必知必会的网络通信传输层协议——UDP和TCP

    1.点评 互联网发展至今已经高度发达,而对于互联网应用(尤其即时通讯技术这一块)的开发者来说,网络编程是基础中的基础,只有更好地理解相关基础知识,对于应用层的开发才能做到游刃有余. 对于Android ...

  5. 迈向高阶:优秀Android程序员必知必会的网络基础

    1.前言 网络通信一直是Android项目里比较重要的一个模块,Android开源项目上出现过很多优秀的网络框架,从一开始只是一些对HttpClient和HttpUrlConnection简易封装使用 ...

  6. PHP高级程序员必看知识点:目录大全(不定期更新)

    面试题系列: 分享一波腾讯PHP面试题 2019年PHP最新面试题(含答案) Redis 高级面试题 学会这些还怕进不了大厂? 阿里面试官三年经验PHP程序员知识点汇总,学会你就是下一个阿里人! ph ...

  7. SqlServer注意事项总结,高级程序员必背!

    本篇文章主要介绍SqlServer使用时的注意事项. 想成为一个高级程序员,数据库的使用是必须要会的.而数据库的使用纯熟程度,也侧面反映了一个开发的水平. 下面介绍SqlServer在使用和设计的过程 ...

  8. (转)【推荐】初级.NET程序员,你必须知道的EF知识和经验

    转自:http://www.cnblogs.com/zhaopei/p/5721789.html [推荐]初级.NET程序员,你必须知道的EF知识和经验   阅读目录   [本文已下咒.先顶后看,会涨 ...

  9. MySQL必知必会1-20章读书笔记

    MySQL备忘 目录 目录 使用MySQL 检索数据 排序检索数据 过滤数据 数据过滤 用通配符进行过滤 用正则表达式进行搜索 创建计算字段 使用数据处理函数 数值处理函数 汇总数据 分组数据 使用子 ...

随机推荐

  1. [ Perl ] 多线程并发编程

    https://www.cnblogs.com/yeungchie/ 记录一些常用的 模块 / 方法 . 多线程 使用模块 threads use 5.010; use threads; sub fu ...

  2. Bugku CTF练习题---MISC---贝斯手

    Bugku CTF练习题---MISC---贝斯手 flag:flag{this_is_md5_and_base58} 解题步骤: 1.观察题目,下载附件 2.下载后进行解压,得到了一张图片.一个压缩 ...

  3. 【CSAPP】Architecture Lab 实验笔记

    archlab属于第四章的内容.这章讲了处理器体系结构,就CPU是怎样构成的.看到时候跃跃欲试,以为最后实验是真要去造个CPU,配套资料也是一如既往的豪华,合计四十多页的参考手册,一大包的源码和测试程 ...

  4. MyBatisPlus实现分页和查询操作就这么简单

    <SpringBoot整合MybatisPlus基本的增删改查,保姆级教程>在这篇文章中,我们详细介绍了分页的具体实现方法.但是,在日常的开发中还需要搜索功能的.下面让我们一起动起手来,实 ...

  5. SQL查询与SQL优化[姊妹篇.第四弹]

    在上一篇文章中,我们一起了解了关系模型与关系运算相关的知识,接下来我们一起谈谈,面对复杂的关系数据,我们如何来优化,SQL如何玩转更优呢? 在上一篇中抛出了4个关于优化方面的问题: 1.返回表中0.0 ...

  6. Java 统计新客户

    上周做了一个订单数据统计的任务,统计的是订单的新客户数量,本文做一个解题过程的记录和整理. 新客户的定义 新客户指的是选取时间段有订单,时间段之前没有订单. 比如下面的订单数据: 时间段 2月1日之前 ...

  7. 好客租房2-React概述

    1.1什么是react React是一个用于构建用户界面的javascript库 用户界面:HTML页面 React主要用来HTML 或者沟通构建web应用 如果从MVC的角度来看 react仅仅是从 ...

  8. django三板斧与request对象方法与ORM

    目录 django三板斧 HttpResponse() render() redirect() 网页获取静态文件样式 request对象方法 post请求问题 针对get请求和post请求执行不同代码 ...

  9. .NET MAUI 正式版GA发布

    .NET MAUI – 一个代码库,多个平台 欢迎使用 .NET 多平台应用 UI.此版本标志着我们统一 .NET 平台的多年旅程中的新里程碑.现在,您和超过 500 万其他 .NET 开发人员拥有了 ...

  10. 2022Gartner容器预测:2025年85%的企业将使用容器管理服务

    近日,国际知名权威分析机构Gartner发布了最新<全球容器管理预测>.预测中指出:在加速的数字化转型驱动下,到2025年全球容器管理领域市场规模将突破14亿美元,预计年复合增长率将达到2 ...