MySQL高可用架构-MMM、MHA、MGR、PXC
主从复制如何工作
在主库把数据记录到binlog(二进制日志)。
备库开IO线程把binlog复制到自己的relaylog(中继日志)。
备库读取中继日志,重放到备库上。
半同步复制
半同步复制可以确保备库拥有主库数据的拷贝,减少了数据丢失的危险。
半同步复制在提交过程中增加了一个延迟:提交事务时,在客户端接收到查询结束反馈前必须保证二进制日志已经传输到一台备库上。
半同步不会阻塞主库上的事务提交,只有通知客户端被延迟了。
备库在接收到事务后发送ack而不是完成事务后发送。
如果备库一直没有回应,会超时转化为异步复制模式。
配置步骤
在master服务器上
开启binlog开启gtid。
建立同步所用的数据库账号。
使用master_data参数备份数据库。
把备份文件传输到slave。
在slave上操作
开启binlog开启gtid。
恢复master上的备份数据库。
使用change master配置链路。
使用start slave启动复制。
GTID和日志点
日志点复制
slave请求master的增量日志依赖于日志偏移量。
配置链路时需要指定参数。
支持MMM和MHA。
GTID复制
全局事务ID唯一,GTID=source_id:transaction_id。
slave增量同步master的数据依赖于其未同步的事务ID。
配置链路时,slave根据已经同步的事务ID继续自动同步。
支持MHA。
复制方式选择
兼容老版本和MMM选择日志点复制。
其他选择GTID复制。
MMM架构和MHA架构
MMM和MHA架构的作用
对主从复制集群中的master的健康监控。
当master宕机后把写VIP迁移到新的master。
重新配置集群中的其他slave对新的master同步。
MMM的主从复制架构
MMM是perl语言开发的用于管理MySQL主主同步架构的工具包。
主要作用:管理MySQL的主主复制拓扑,在主服务器失效时,进行主备切换和故障转移。
MMM无法完全的保证数据一致性,所以适用于对数据的一致性要求不是很高的场景。(因为主备上的数据不一定是最新的,可能还没从库的新。解决方法:开启半同步)。
VIP是基于ARP协议,因此所有节点必须处于同一局域网。
MMM架构的故障转移步骤
SLAVE:
已复制日志的恢复。
使用Change Master命令配置新主。
主备:
关掉read_only。
迁移写VIP到新主。
MMM架构的配置步骤
配置主主复制的集群架构。
安装centos的yum扩展包。
安装所需的perl支持包。
安装mmm工具包。
配置并启用mmm服务。
MMM优点
- 提供了读写VIP的配置。
MMM缺点
故障切换会丢事务(主备使用半同步复制解决)。
不支持GTID。
社区不活跃。
MHA故障转移步骤
选出最新更新的slave。
尝试从宕机的master保存二进制日志。
应用差异的中继日志给到其他slave。
应用从master保存的二进制日志。
提升选举的slave为新的master。
配置其他slave向新的master同步。
MHA需要的资源
1主DB。
2-N从DB。
n+2IP地址。
监控用户。
复制用户。
MHA配置步骤
配置一主多从的复制架构。
安装centos的yum扩展源和依赖包。
配置集群内各主机的ssh免认证。
各节点安装mha_node软件。
管理节点安装mha_manager。
配置并启动mha管理进程。
MHA优点
基于gtid和日志点。
选举最合适的slave成为master。
MHA缺点
需要自行开发写vip脚本。
只监控master。
适用场景
使用gtid。
一主多从。
更少的数据丢失场景。
如何减小主从复制的延迟
主从复制延迟的原因
- 执行了大事务(解决:化为多个小事务)。
解决方法
多线程复制。
使用MGR复制架构(类似PXC)。
MGR架构
MySQL Group Replication(MGR)是MySQL官方在5.7.17版本引进的一个数据库高可用解决方案,以插件形式提供。
MGR基于分布式Paxos协议,实现组复制,保证数据一致性。有故障检测和自动选主功能。
提供单主模式与多主模式,多主模式支持多点写入。
基于ROW格式的二进制日志文件和GTID特性。
实现原理
MGR由若干个节点共同组成一个复制组,一个事务的提交,必须经过组内大多数节点(N / 2 + 1)决议并通过,才能得以提交。
引入组复制,主要是为了解决传统异步复制和半同步复制可能产生数据不一致的问题。组复制依靠分布式一致性协议(Paxos协议的变体),实现了分布式下数据的最终一致性,提供了真正的数据高可用方案(迫真)。
单主模式
MGR优缺点:
组内成员基本无延迟。
支持多写,读写服务高可用。
数据强一致,不丢事务。
MGR缺点:
单主模式很难确认下一个primary。
只能gtid,日志格式必须为row。
场景
主从延迟敏感。
数据强一致。
读写高可用。
如何解决读写负载大的问题
读负载大
读写分离加slave。
数据库中间层做负载均衡。
写负载大
- Mycat分库分表。
扩展知识:VIP与脑裂
VIP的工作原理是,
- 为当期主机配置一个虚拟网卡,如eth0:0,该网卡绑定了唯一的MAC地址和虚拟IP地址VIP
- 局域网内的主机欲与该VIP通信时,先通过ARP协议取到该VIP对应的MAC地址,再将VIP与MAC地址的对应关系缓存在其主机上
- 后续通信时,使用上一步骤取到的MAC作为报文的MAC地址
VIP切换的原理是,
- 将旧master绑定的虚拟网卡注销掉
- 在新的master注册新的虚拟网卡(产生了新的MAC地址)
- 通知局域网节点更新VIP与MAC的对应关系,后续通信采用新MAC地址
脑裂的原因,在于旧master节点没有正常将VIP摘掉,这时局域网机器通过ARP获取VIP的MAC时,就可能取到旧的MAC地址,导致与旧master通信。什么情况会出现这种情况呢?旧master由于上层交换机故障,未与manager节点正常通信,此时VIP是没有摘除掉的,过了一段时间上层交换机恢复了就会导致此问题。
Re
MySQL高可用架构-MMM、MHA、MGR、PXC的更多相关文章
- (转)MySQL高可用架构之MHA
MySQL高可用架构之MHA 原文:http://www.cnblogs.com/gomysql/p/3675429.html 简介: MHA(Master High Availability)目前 ...
- mysql高可用架构之MHA,haproxy实现读写分离详解
MySQL高可用架构之MHA 一.运维人员需要掌握的MySQL技术: 1.基本SQL语句 2.基本的管理[库表数据的管理 权限的管理] 3.容灾 保证数据不丢失. 二.工作中MySQ ...
- MySQL高可用架构之MHA
简介: MHA(Master High Availability)目前在MySQL高可用方面是一个相对成熟的解决方案,它由日本DeNA公司youshimaton(现就职于Facebook公司)开发,是 ...
- 转一下大师兄的"MySQL高可用架构之MHA"
简介: MHA(Master High Availability)目前在MySQL高可用方面是一个相对成熟的解决方案,它由日本DeNA公司youshimaton(现就职于Facebook公司)开发,是 ...
- MySQL高可用架构之MHA(转)
简介: MHA(Master High Availability)目前在MySQL高可用方面是一个相对成熟的解决方案,它由日本DeNA公司youshimaton(现就职于Facebook公司)开发,是 ...
- mysql高可用架构之-MHA学习
此博文参考 博主:mysql高级DBA yayun 完成 简介: MHA(Master High Availability)目前在MySQL高可用方面是一个相对成熟的解决方案,它由日本DeNA公司 ...
- MySQL高可用架构-MMM环境部署记录
MMM介绍MMM(Master-Master replication manager for MySQL)是一套支持双主故障切换和双主日常管理的脚本程序.MMM使用Perl语言开发,主要用来监控和管理 ...
- MySQL 高可用架构 之 MHA (Centos 7.5 MySQL 5.7.18 MHA 0.58)
目录 简介 环境准备 秘钥互信 安装基础依赖包 安装MHA组件 安装 MHA Node组件 安装 MHA Manager 组件 建立 MySQL 一主三从 初始化 MySQL 启动MySQL 并简单配 ...
- MySQL高可用架构之MHA 原理与实践
MHA简介 关于MHA MHA(Master HA)是一款开源的MySQL的高可用程序,它为MySQL主从复制架构提供了automating master failover 功能.MHA在监控到mas ...
随机推荐
- 【转】SpringCloud学习
Spring Cloud Alibaba与Spring Boot.Spring Cloud之间不得不说的版本关系 这篇博文是临时增加出来的内容,主要是由于最近连载<Spring Cloud ...
- configparser生成模块写
# -*-coding:utf-8-*-__author__ = "logan.xu"#写配置文件import configparserconfig = configparser. ...
- Hadoop day1
Hadoop就是存储海量数据和分析海量数据的工具 1.概念 Hadoop是由java语言编写的,在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架,其核心部件是HDFS与MapReduce ...
- ---Docker学习随笔---基础管理部分---
docker是什么?提供快速.高效.轻量的微服务平台 1. 背景介绍突破虚拟机对资源占用高.启动时间长.镜像存储大.集群规模小等限制,摆脱操作系统级的隔离级别,实现进程级管理.主要专用名词: chro ...
- Pytest系列(15)- 多重校验插件之pytest-assume的详细使用
如果你还想从头学起Pytest,可以看看这个系列的文章哦! https://www.cnblogs.com/poloyy/category/1690628.html 前言 pytest中可以用pyth ...
- Robot Framework(8)- Collections 测试库常用的关键字列表
如果你还想从头学起Robot Framework,可以看看这个系列的文章哦! https://www.cnblogs.com/poloyy/category/1770899.html 前言 所有关键字 ...
- Linux - 设置帮助文件为中文
前言 当我们执行某个命令的 --h 或者 --help 时,默认输出的都是英文,接下来我们来说下如何将所有帮助文件显示成中文哦! 设置系统默认语言为中文 对应每个shell而言,重启后会变成英文,所 ...
- C#开源类库SimpleTCP
目录 简介 使用方法 实现客户端 实现服务端 总结 简介 工作中经常遇到需要实现TCP客户端或服务端的时候,如果每次都自己写会很麻烦且无聊,使用SuperSocket库又太大了.这时候就可以使用Sim ...
- 使用Redis实现分布式会话
1. 概述 传统的单体应用中,用户是否登录,通常是通过从Tomcat容器的session中获取登录用户信息判断的. 但在分布式的应用中,通常负载均衡了多台Tomcat,每台Tomcat都有自己独立的s ...
- Redis核心原理与实践--列表实现原理之ziplist
列表类型可以存储一组按插入顺序排序的字符串,它非常灵活,支持在两端插入.弹出数据,可以充当栈和队列的角色. > LPUSH fruit apple (integer) 1 > RPUSH ...