1. MySQL主从同步实现方式

MySQL主从同步是基于Bin Log实现的,而Bin Log记录的是原始SQL语句。

Bin Log共有三种日志格式,可以binlog_format配置参数指定。

参数值 含义
Statement 记录原始SQL语句,会导致更新时间与原库不一致。
比如 update_time=now()
Row 记录每行数据的变化,保证了数据与原库一致,缺点是数据量较大。
Mixed Statement和Row的混合模式,默认采用Statement模式,涉及日期、函数相关的时候采用Row模式,既减少了数据量,又保证了数据一致性。

常见的主从同步架构有一主多从、双主多从。

2. MySQL主从同步的作用

  1. 读写分离,提升数据库性能
  2. 容灾恢复,主服务器不可用时,从服务器提供服务,提高可用性
  3. 冗余备份,主服务器数据损坏丢失,从服务器保留备份

一主多从架构:

一般是主库负责所有读写请求,而从库只负责容灾恢复和冗余备份。

如果做了读写分离的话,主库负责写请求,从库负责读请求,可以提升数据库性能。

双主多从架构:

一般是主库1负责所有读写请求,主库2不对外提供服务,只用来容灾恢复。

相比一主多从架构,双主多从架构可以减少宕机时间,更快恢复数据库可用状态。

3. 主动同步的原理

  1. 当主库数据发生变更时,写入本地Bin Log文件

  2. 从库IO线程发起dump主库Bin Log文件的请求

  3. 主库IO线程推送Bin Log文件到从库中

  4. 从库IO线程把Bin Log内容写入本地的Relay Log文件中

  5. 从库SQL线程读取Relay Log文件内容

  6. 从库SQL线程重新执行一遍SQL语句

4. 主从同步延迟问题

主从同步最常遇到的问题就是主从同步延迟,可以通过在从库上执行show slave status命令查看延迟时间,Seconds_Behind_Master表示延迟的秒数。

主从同步延迟的原因有哪些?

  1. 从库机器性能较差

    主库负责所有读写请求,从库只用来备份,会用性能较差的机器,执行时间自然较慢。

  2. 从库压力更大

    读写分离后,主库负责写请求,从库负责读请求。

    互联网应用一般读请求更多,所以从库读压力更大,占用更多CPU资源。

  3. 网络延迟

    当主库的Bin Log文件往从库上发送时,可能产生网络延迟,也会导致从库数据跟不上。

  4. 主库有大事务

    当主库上有个大事务需要执行5分钟,把Bin Log文件发送到从库,从库至少也需要执行5分钟,所以这时候从库就出现了5分钟的延迟。

主从同步延迟的解决方案?

  1. 从库机器性能较差

    把从库换成跟主库同等规格的机器。

  2. 从库压力更大

    多搞几台从库,分担读请求压力。

  3. 网络延迟

    联系运维或者云服务提供商解决。

  4. 主库有大事务

    把大事务分割成小事务执行,大事务不但会产生从库延迟,还可能产生死锁,降低数据库并发性能,所以尽量少用大事务。

5. 如何提升主从同步性能

1. 从库开启多线程复制

就是在主从同步的最后两步使用多线程,修改配置 slave_parallel_workers=4,代表开启4个复制线程。

2. 修改同步模式,改为异步

主从同步共有三种复制方式:

  1. 全同步复制

    当主库执行完一个事务,并且所有从库都执行完该事务后,才给客户端返回成功。

  2. 半同步复制

    至少有一个从库执行完成后,就给客户端返回成功。

  3. 异步复制

    主库执行完后,立即返回成功,不关心从库是否执行完成。

如果对数据安全性要求没那么高,可以把同步模式改成半同步复制或者异步复制。

3. 修改从库Bin Log配置

修改sync_binlog配置:

sync_binlog=0 ,表示写binlog不立即刷新磁盘,由系统决定什么时候刷新磁盘。

sync_binlog=1,每次写binlog都刷新磁盘,安全性高,性能差。

sync_binlog=N,写N次binlog才刷新磁盘。

从库对数据安全性要求没那么高,可以设置sync_binlog=0。

修改innodb_flush_log_at_trx_commit配置:

innodb_flush_log_at_trx_commit=0,每隔一秒钟,把事务日志刷新到磁盘。

innodb_flush_log_at_trx_commit=1,每次事务都刷新到磁盘。

innodb_flush_log_at_trx_commit=2,每次事务都不主动刷新磁盘,由系统决定什么时候刷新磁盘。

从库对数据安全性要求没那么高,可以设置innodb_flush_log_at_trx_commit=2。

知识点总结:

文章持续更新,可以微信搜一搜「 一灯架构 」第一时间阅读更多技术干货。

高级程序员必知必会,一文详解MySQL主从同步原理,推荐收藏的更多相关文章

  1. 【好程序员笔记分享】——UIView与CALayer详解

    -iOS培训,iOS学习-------型技术博客.期待与您交流!------------ UIView与CALayer详解 研究Core Animation已经有段时间了,关于Core Animati ...

  2. Android开发工程师面试题之handler详解。android程序员,android开发面试资料,详解

    Message:消息:其中包含了消息ID,消息对象以及处理的数据等,由MessageQueue统一列队,终由Handler处理 Handler:处理者:负责Message发送消息及处理.Handler ...

  3. .NET程序员项目开发必知必会—Dev环境中的集成测试用例执行时上下文环境检查(实战)

    Microsoft.NET 解决方案,项目开发必知必会. 从这篇文章开始我将分享一系列我认为在实际工作中很有必要的一些.NET项目开发的核心技术点,所以我称为必知必会.尽管这一系列是使用.NET/C# ...

  4. Android程序员必知必会的网络通信传输层协议——UDP和TCP

    1.点评 互联网发展至今已经高度发达,而对于互联网应用(尤其即时通讯技术这一块)的开发者来说,网络编程是基础中的基础,只有更好地理解相关基础知识,对于应用层的开发才能做到游刃有余. 对于Android ...

  5. 迈向高阶:优秀Android程序员必知必会的网络基础

    1.前言 网络通信一直是Android项目里比较重要的一个模块,Android开源项目上出现过很多优秀的网络框架,从一开始只是一些对HttpClient和HttpUrlConnection简易封装使用 ...

  6. PHP高级程序员必看知识点:目录大全(不定期更新)

    面试题系列: 分享一波腾讯PHP面试题 2019年PHP最新面试题(含答案) Redis 高级面试题 学会这些还怕进不了大厂? 阿里面试官三年经验PHP程序员知识点汇总,学会你就是下一个阿里人! ph ...

  7. SqlServer注意事项总结,高级程序员必背!

    本篇文章主要介绍SqlServer使用时的注意事项. 想成为一个高级程序员,数据库的使用是必须要会的.而数据库的使用纯熟程度,也侧面反映了一个开发的水平. 下面介绍SqlServer在使用和设计的过程 ...

  8. (转)【推荐】初级.NET程序员,你必须知道的EF知识和经验

    转自:http://www.cnblogs.com/zhaopei/p/5721789.html [推荐]初级.NET程序员,你必须知道的EF知识和经验   阅读目录   [本文已下咒.先顶后看,会涨 ...

  9. MySQL必知必会1-20章读书笔记

    MySQL备忘 目录 目录 使用MySQL 检索数据 排序检索数据 过滤数据 数据过滤 用通配符进行过滤 用正则表达式进行搜索 创建计算字段 使用数据处理函数 数值处理函数 汇总数据 分组数据 使用子 ...

随机推荐

  1. 小程序开发之获取客户来源 scene 场景值 手机设备信息

    为什么要获取客户来源 用作数据分析,根据客户来源,做精准转化! 判断客户来源入口方式 1.通过官方的scene场景值 常见场景值 场景值ID 说明 1001 发现栏小程序主入口,「最近使用」列表 10 ...

  2. WPFApplication类

    Application类 应用程序类Application,以下代码自动生成且在程序中不可见,定义程序入口点方法以及程序启动程序,整个程序生命周期为执行完Main()方法里的程序.对于自定义的应用程序 ...

  3. 分享一款高逼格的Linux磁盘信息查看工具

    关注「开源Linux」,选择"设为星标" 回复「学习」,有我为您特别筛选的学习资料~ 可以使用df命令来显示在Linux.macOS和类Unix系统中挂载的文件系统上有多少可用磁盘 ...

  4. 老生常谈系列之Aop--Spring Aop源码解析(二)

    老生常谈系列之Aop--Spring Aop源码解析(二) 前言 上一篇文章老生常谈系列之Aop--Spring Aop源码解析(一)已经介绍完Spring Aop获取advice切面增强方法的逻辑, ...

  5. 关于transform属性的一些理解

    3D transform transform进行动画演示时,是以元素的中心为基准点的,可以使用transform-origin改变元素转变的基准点. 所有的transform动作改变都会引起X.Y轴的 ...

  6. PowerJob高级特效-容器部署完整教程

    介绍 powerjob提供了容器功能,用来做一些灵活的任务处理.这里容器为 JVM 级容器,而不是操作系统级容器(Docker).(至于为什么取"容器"这个有歧义的名字是因为作者没 ...

  7. Event Loop 是什么?

    Event Loop 是什么? 本文写于 2020 年 12 月 6 日 广义上来说 Event Loop 并不是 JavaScript 独有的概念,他是一个计算机的通用概念. 狭义上来说,只有 No ...

  8. MySQL执行计划explain

    一.简介 分析查询慢的原因,在查询语句前加explain即可.如: 二.输出格式 2.0 测试数据 # 表user_info CREATE TABLE `user_info` ( `id` bigin ...

  9. netty系列之:netty对marshalling的支持

    目录 简介 netty中的marshalling provider Marshalling编码器 Marshalling编码的另外一种实现 总结 简介 在之前的文章中我们讲过了,jboss marsh ...

  10. [漏洞复现] [Vulhub靶机] Struts2-045 Remote Code Execution Vulnerablity(CVE-2017-5638)

    免责声明:本文仅供学习研究,严禁从事非法活动,任何后果由使用者本人负责. 0x00 背景知识 Apache Struts 2是美国Apache软件基金会的一个开源项目,是一套用于创建企业级Java W ...