MySQL复制 -- Binlog (1)

MySQL复制 -- binlog(2)

MySQL复制是使用最为广泛的一套组建,上一节已经简单说了一下复制的一些用途和复制的原理,知道了这些我们能够快速的搭建起复制的平台,但是仅知道这些还是不够的,很多时候并不是一帆风顺的,总会有那么一小段时间,或者总会有那么几次会出现各种各样的问题.当出现问题我们应该怎么去解决呢? 下面我们先来看看MySQL复制常见的一些问题,以及对应的解决办法:更进一步的我们是否可以考虑做的更好,提供自动化或者半自动化的工具来帮助我们更快更好的解决问题呢? OK,首先我们先来看看我们经常在复制中会遇到的问题吧.…

MySQL复制 -- Binlog (1)

复制之所以工作得益于MySQL把对数据库的变更都记录在 binlog中,然后主库把它读出来,放到从库上去应用.当然binlog 的用途不仅限于此,比如 PITR等在5.1.4版本以前,binlog格式只能是 statement -based replication ,在以后的版本中引入了 row-based replication 以及 mixed-based replication. 下面我会简单的介绍一下SBR.RBR.MBR 这三种格式下binlog是如何组织的,更重要的是在这三种格式下…

mysql复制那点事(2)-binlog组提交源码分析和实现

mysql复制那点事(2)-binlog组提交源码分析和实现 [TOC] 0. 参考文献序号文献 1 MySQL 5.7 MTS源码分析 2 MySQL 组提交 3 MySQL Redo/Binlog Group Commit , 2pc事务两阶段提交,Crash Recovery浅析 4 MySQL · 物理备份 · Percona XtraBackup 备份原理 5 条件变量(Condition Variable)详解 6 Linux线程同步之条件变量本文主要介绍了mysql binl…

MySQL复制(二)--基于二进制日志文件(binlog)配置复制

浅析MySQL复制

MySQL的复制是基于binlog来实现的. 流程如下涉及到三个线程,主库的DUMP线程,从库的IO线程和SQL线程. 1. 主库将所有操作都记录到binlog中.当复制开启时,主库的DUMP线程根据从库IO线程的请求将binlog中的内容发送到从库. 2. 从库的IO线程接受到主库DUMP线程发送的binlog事件后,将其写到本地的relay-log. 3. 从库的SQL线程重放relay-log中的事件. 实际上,在MySQL 4.0之前,复制只有两个线程,master和slave端各一个…

MySQL复制环境（主从/主主）部署总结性梳理

Mysql复制概念说明Mysql内建的复制功能是构建大型,高性能应用程序的基础.将Mysql的数据分布到多个系统上去,这种分布的机制,是通过将Mysql的某一台主机的数据复制到其它主机(slaves)上,并重新执行一遍来实现的.复制过程中一个服务器充当主服务器,而一个或多个其它服务器充当从服务器.主服务器将更新写入二进制日志文件,并维护文件的一个索引以跟踪日志循环.这些日志可以记录发送到从服务器的更新.当一个从服务器连接主服务器时,它通知主服务器从服务器在日志中读取的最后一次成功更新的位置.从服…

MYSQL复制

今天我们聊聊复制,复制对于mysql的重要性不言而喻,mysql集群的负载均衡,读写分离和高可用都是基于复制实现.下文主要从4个方面展开,mysql的异步复制,半同步复制和并行复制,最后会简单聊下第三方复制工具.由于生产环境中,innodb存储引擎支持事务,并且行级复制使用广泛,所以下文的讨论都是基于这种假设. 异步复制异步复制是mysql自带的最原始的复制方式,主库和备库成功建立起复制关系后,在备库上会有一个IO线程去主库拉取binlog,并将binlog写到本地,就是图1中的Relay l…

mysql开启binlog

mysql开启binlog,至于为什么要开启binlog,可以google下. ## 设置server_id,一般设置为IP server_id= ## 复制过滤:需要备份的数据库名,多个库以逗号分隔,输出binlog ## binlog-do-db=mydb ## 复制过滤:不需要备份的数据库,不输出(mysql库一般不同步) ## binlog-ignore-db=mysql #若涉及及同步函数或者存储过程需要配置,否则主备会产生异常不能同步 log_bin_trust_function_c…

转mysql复制主从集群搭建

最近搭了个主从复制,中间出了点小问题,排查搞定,记录下来 1环境:虚拟机:OS:centos6.5Linux host2 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux 服务器IP192.168.18.66192.168.18.67 DB:mysql> select version();+-----------+| version() |+-----------+|…

不小心删除数据--利用MySQL的binlog恢复数据

MySQL Binary Log也就是常说的bin-log, ,是mysql执行改动产生的二进制日志文件,其主要作用有两个: * 数据回复 * 主从数据库.用于slave端执行增删改,保持与master同步. 1.开启binary log功能对于mysql也是支持增量备份,但要打开mysql的bin log功能. 我们修改mysql的配置文件.linux是/etc/my.cnf,windows是mysql的安装目录/my.ini 我们在[mysqld]下面加上log-bin一行代码,如下面.…

MySQL复制的基本概念和实现

MySQL的复制的概念是完成水平扩展的架构 MySQL性能方面的扩展方式有scale on(向上扩展,垂直扩展) scale out(向外扩展,水平扩展) MySQL保存二进制日志: statement:基于语句模式 row:基于行模式 mixed:混合模式 MySQL复制默认为异步工作模式 SLAVE:IO thread:向主服务请求二进制日志中的事件 SQL thread:从中继日志读取事件并在本地执行 MASTER:binlog dump:…

理解MySQL——复制(Replication)

1.复制概述 1.1.复制解决的问题数据复制技术有以下一些特点:(1) 数据分布(2) 负载平衡(load balancing)(3) 备份(4) 高可用性(high availability)和容错 1.2.复制如何工作从高层来看,复制分成三步:(1) master将改变记录到二进制日志(binary log)中(这些记录叫做二进制日志事件,binary log events):(2) slave将master的binary log events拷贝到它的中…

【MySQL】binlog缓存的问题和性能

之前在没有备库的情况下,遇到过more than 'max_binlog_cache_size' bytes of storage 的错误,今天在主备复制的时候又遇到了这个问题 Last_SQL_Errno: 1197 Last_SQL_Error: Worker 14 failed executing transaction '' at master log mysql-bin.050101, end_log_pos 2669492980; Could not execute Delete_r…

MYSQL复制的几种模式

MySQL 5.1 中,在复制方面的改进就是引进了新的复制技术:基于行的复制. MYSQL复制的几种模式 MySQL 5.1 中,在复制方面的改进就是引进了新的复制技术:基于行的复制.简言之,这种新技术就是关注表中发生变化的记录,而非以前的照抄 binlog 模式.从 MySQL 5.1.12 开始,可以用以下三种模式来实现:-- 基于SQL语句的复制(statement-based replication, SBR),-- 基于行的复制(row-based replication, RBR),…

replicate-do-db参数引起的MySQL复制错误及处理办法

replicate-do-db配置在MySQL从库的my.cnf文件中,可以指定只复制哪个库的数据.但是这个参数有个问题就是主库如果在其他的schema环境下操作,其binlog不会被从库应用,从而出现异常.可以简单的测试一下 --replicate-do-db参数引起的MySQL复制错误,步骤如下. 从库的my.cnf中有如下配置: replicate-do-db = maopaodb 首先在主库切换到test这个库并建立maopaodb下的一个表: mysql> use test;Datab…

MySQL复制应用中继日志解析

前言:SQL线程应用中继日志,在binlog_format是row格式的时候,是居于主键更新,下面结合一张图来证明 1.从一个大神那边得到一张图片,SQL线程应用中继日志流程,下面就实验验证一下:(PS,我个人认为这张图binlog_format为ROW格式是正确的) 2.验证有PK表情况在主库创建表结构 CREATE TABLE `table_pk` (`id` int(11) NOT NULL ,`name` varchar(20) NOT NULL ,`age` tinyint N…

生产环境搭建MySQL复制的教程（转）

[导读] 网络上有很多关于MySQL复制搭建的步骤和范例,以及手册上有一章完整的篇幅,讲述MySQL复制的原理.搭建步骤.优化等,但依然存在很多刚开始学习MySQL知识或者刚进入DBA行业的朋友咨询,知道搭建步骤,但还是在咨询生产环境的搭建或搭建过程碰到的问题,为此给大家简单讲述下复制的原理,并且讲述一下生产环境该如何搭建复制架构. n 复制的基本原理及基础知识使用3个线程来完成主从数据库服务器之间的数据复制功能,其中1 个I/O线程跑在主服务器上,另两个线程跑在从服务器上.当从服务器上执行…

mysql之 binlog维护详细解析（开启、binlog相关参数作用、mysqlbinlog解读、binlog删除）

binary log 作用:主要实现三个重要的功能:用于复制,用于恢复,用于审计.binary log 相关参数:log_bin设置此参数表示启用binlog功能,并指定路径名称log_bin_index设置此参数是指定二进制索引文件的路径与名称binlog_do_db此参数表示只记录指定数据库的二进制日志binlog_ignore_db此参数表示不记录指定的数据库的二进制日志max_binlog_cache_size此参数表示binlog使用的内存最大的尺寸binlog_cache_size此…

快速搭建MySQL复制集

快速搭建MySQL复制集 1 环境说明 MySQL版本 5.6 basedir :/u01/my3306 #MySQL软件目录数据目录 :/u01/mysql/[实例名]/data 日志目录 :/u01/mysql/my3308/log/iblog binlog日志 :/u01/mysql/my3308/log/binlog 其他 :/u01/mysql/my3308/run /u01/mysql/my3308/tmp master端口(已存在) :3306 slaved端口(带创建):330…

mysql对binlog的处理

--mysql对binlog的处理 ------------------------2014/05/28 Binlog是mysql以二进制形式打印的日志,它默认不加密,不压缩.每个正常的binlog文件头部,有4个字节的标记,值为0xfe 0x62 0x69 0x6e.LOG_EVENT是binlog里的单位,即正常情况下binlog按照逐LOG_EVENT的形式增长.除去头部的标记,binlog就是一个LOG_EVENT的序列.每个LOG_EVENT都独立单元,没有互相引用的关系,它也有自己的…

MySQL基于binlog主从复制

MySQL复制介绍默认情况下复制是异步进行的,从库也不需要一直连接到主库来同步数据 MySQL复制的数据粒度可以是主实例上所有的数据库,也可以是指定的一个或多个数据库 ,也可以是一个数据库里的指定的表 MySQL复制所带来的优势在于: 1.扩展能力: 通过复制功能可以将MySQL的性能压力分担到一个或多个slave上.这要求所有的写操作和修改操作都必须在Master上完成,而读操作可以被分配到一个或多个slave上.将读写分离到不同服务器执行之后,MySQL的读写性能得到提升 2.数据库备份…

MySQL开启binlog并且保存7天有效数据

开启binlog日志(在[mysqld]下修改或添加如下配置): server-id=1 log-bin=mysql-bin binlog_format=MIXED binlog日志模式 Mysql复制主要有三种方式:基于SQL语句的复制(statement-based replication, SBR),基于行的复制(row-based replication, RBR),混合模式复制(mixed-based replication, MBR).对应的,binlog的格式也有三种:STATEM…

MySQL复制进阶

Ⅰ.背景搭建MySQL复制环境非常简单你的系统是否也是像我之前那么搭建的呢? 那么,你的复制系统是否出现过以下的情况呢? 复制报错,例如:1062,1032 主从数据不一致 Ⅱ.真正高可靠复制环境相关配置(crash-safe replication) master: binlog_do_db # if possible binlog_ignore_db # if possbile max_binlog_size = 2048M # 默认1g,其实也够用,MySQL每次写满1g后做的切换代价…

MySQL 复制 - 性能与扩展性的基石 1：概述及其原理

1. 复制概述 MySQL 内置的复制功能是构建基于 MySQL 的大规模.高性能应用的基础,复制解决的基本问题是让一台服务器的数据与其他服务器保持同步. 接下来,我们将从复制概述及原理.复制的配置.常见的问题及解决方法来学习 MySQL 的复制功能. 1.1 复制解决的问题下面是复制常见的用途: 数据分布.Mysql 复制通常不会对带宽造成很大压力,但在 5.1 版本中引入的基于行的复制会比传统的基于语句的复制模式产生更大的带宽压力.你可以随意地停止或开始复制,并在不同的地理位置来分布数据备…

MySQL复制相关技术的简单总结

MySQL有很多种复制,至少从概念上来看,传统的主从复制,半同步复制,GTID复制,多线程复制,以及组复制(MGR).咋一看起来很多,各种各样的复制,其实从原理上看,各种复制的原理并无太大的异同.每一种复制的出现都是有其原因的,是解决(或者说是弥补)前一种的复制方案的潜在的问题的.新的复制方式的出现,是基于对原复制某一方面增强或者是优化的结果,而不是全新的一种方案或者技术,所以就不难理解为什么有这么多中复制.其实搞出来这么多概念,个人觉得是源于开源的原因吧,不同复制版本的出现,因为是一个不断发现…