MySQL Binlog Mixed模式记录成Row格式
背景:
一个简单的主从结构,主的binlog format是Mixed模式,在执行一条简单的导入语句时,通过mysqlbinlog导出发现记录的Binlog全部变成了Row的格式(明明设置的是Mixed),现在就说说在什么情况下Binlog的Mixed模式会转变记录成Row格式。
概念:
binlog format有三种形式:Statement、Mixed、Row,具体的信息可以自行到网上搜查。
分析(本文碰到的案例):
查看MySQL binlog format
dba@192.168.111.4 : dba_test 02:33:39>show variables like 'binlog_format%'; +---------------+-------+
| Variable_name | Value |
+---------------+-------+
| binlog_format | MIXED |
+---------------+-------+
测试语句:
dba@192.168.111.4 : dba_test 02:24:14>create table tmp_test(id int,name varchar(64),age int,primary key(id)) engine = innodb;
Query OK, 0 rows affected (0.05 sec) dba@192.168.111.4 : dba_test 02:24:23>insert into tmp_test values(1,'aaa',11);
Query OK, 1 row affected (0.02 sec) dba@192.168.111.4 : dba_test 02:25:17>insert into tmp_test values(2,'bbb',22);
Query OK, 1 row affected (0.02 sec) dba@192.168.111.4 : dba_test 02:25:23>insert into tmp_test values(3,'ccc',33);
Query OK, 1 row affected (0.01 sec) dba@192.168.111.4 : dba_test 02:25:28>insert into tmp_test values(4,'ddd',44);
Query OK, 1 row affected (0.01 sec) dba@192.168.111.4 : dba_test 02:25:34>insert into tmp_test values(5,'eee',55);
Query OK, 1 row affected (0.01 sec) dba@192.168.111.4 : dba_test 02:25:42>select * from tmp_test;
+----+------+------+
| id | name | age |
+----+------+------+
| 1 | aaa | 11 |
| 2 | bbb | 22 |
| 3 | ccc | 33 |
| 4 | ddd | 44 |
| 5 | eee | 55 |
+----+------+------+
5 rows in set (0.01 sec) dba@192.168.111.4 : dba_test 02:25:50>create table tmp_test_bak(id int,name varchar(64),age int,primary key(id)) engine = innodb;
Query OK, 0 rows affected (0.03 sec) dba@192.168.111.4 : dba_test 02:26:31>insert into tmp_test_bak select * from tmp_test; ###记录成了Row模式
Query OK, 5 rows affected (0.03 sec)
Records: 5 Duplicates: 0 Warnings: 0
Binlog 记录图:
问题来了,我想要出来的binlog format是Statement,而不是Row。而一条insert into tb select * from ta的简单语句在Mixed模式下记录了Row模式的binlog。原因是什么?
首先确实在一些特定的情况下,Mixed会被转换成Row模式:
. 当 DML 语句更新一个 NDB 表时;
. 当函数中包含 UUID() 时;
. 个及以上包含 AUTO_INCREMENT 字段的表被更新时;
. 执行 INSERT DELAYED 语句时;
. 用 UDF 时;
. 视图中必须要求运用 row 时,例如建立视图时使用了 UUID() 函数;
上面来自网络,有兴趣的可以自己测试测试。而对于本文中的sql,符合不了上面的条件,但binlog也记录成了Row格式。所以还是很奇怪为什么binlog格式被转换了,日常工作的时候有遇到过执行一条sql,会报一个warning:
Warning: Unsafe statement written to the binary log using statement format since BINLOG_FORMAT = STATEMENT
难道因为这个导致转换的?因为上面的SQL可以重现,没有报warning,所以这个情况排除。根据经验想到了一个参数:innodb_locks_unsafe_for_binlog,看到里面讲到事务隔离级别,那就看看隔离级别的情况:
dba@192.168.111.4 : dba_test 05:46:56>select @@global.tx_isolation;
+-----------------------+
| @@global.tx_isolation |
+-----------------------+
| READ-COMMITTED |
+-----------------------+
1 row in set (0.01 sec) dba@192.168.111.4 : dba_test 06:36:45>select @@session.tx_isolation;
+------------------------+
| @@session.tx_isolation |
+------------------------+
| READ-COMMITTED |
+------------------------+
1 row in set (0.01 sec)
看到隔离级别是提交读,即不可重复读。把事务隔离级别设置成默认的 REPEATABLE READ:
dba@192.168.111.4 : dba_test 06:41:02>set session transaction isolation level REPEATABLE READ;
Query OK, 0 rows affected (0.14 sec) dba@192.168.111.4 : dba_test 06:41:42>select @@session.tx_isolation;
+------------------------+
| @@session.tx_isolation |
+------------------------+
| REPEATABLE-READ |
+------------------------+
1 row in set (0.00 sec)
再执行测试里的SQL,发现这时候Mixed的binlog记录了Statement格式,正常了,符合预期了。难道就是这个事务隔离级别的问题引起的?在手册里发现了这句:
Note
In MySQL 5.7, when READ COMMITTED isolation level is used, or the deprecated innodb_locks_unsafe_for_binlog system variable is enabled,
there is no InnoDB gap locking except for foreign-key constraint checking and duplicate-key checking. Also, record locks for nonmatching
rows are released after MySQL has evaluated the WHERE condition. If you use READ COMMITTED or enable innodb_locks_unsafe_for_binlog, you must use row-based binary logging.
展开可以看例子:
dba@192.168.111.4 : dba_test 06:49:27>select @@session.tx_isolation;
+------------------------+
| @@session.tx_isolation |
+------------------------+
| REPEATABLE-READ |
+------------------------+
1 row in set (0.01 sec) dba@192.168.111.4 : dba_test 06:49:29>create table tmp_test_bak(id int,name varchar(64),age int,primary key(id)) engine = innodb;
Query OK, 0 rows affected (0.14 sec) dba@192.168.111.4 : dba_test 06:49:34>insert into tmp_test_bak values(1,'aaa',11);
Query OK, 1 row affected (0.13 sec) dba@192.168.111.4 : dba_test 06:49:41>insert into tmp_test_bak values(2,'bbb',22);
Query OK, 1 row affected (0.11 sec) dba@192.168.111.4 : dba_test 06:49:41>insert into tmp_test_bak values(3,'ccc',33);
Query OK, 1 row affected (0.11 sec) dba@192.168.111.4 : dba_test 06:49:42>insert into tmp_test_bak values(4,'ddd',44);
Query OK, 1 row affected (0.11 sec) dba@192.168.111.4 : dba_test 06:49:42>insert into tmp_test_bak values(5,'eee',55);
Query OK, 1 row affected (0.13 sec) BINLOG:
root@dba:/var/log/mysql# mysqlbinlog mysql-bin.000007 |grep "tmp_test_bak"
create table tmp_test_bak(id int,name varchar(64),age int,primary key(id)) engine = innodb
insert into tmp_test_bak values(1,'aaa',11)
insert into tmp_test_bak values(2,'bbb',22)
insert into tmp_test_bak values(3,'ccc',33)
insert into tmp_test_bak values(4,'ddd',44)
insert into tmp_test_bak values(5,'eee',55) #############################
############################# dba@192.168.111.4 : dba_test 06:49:43>set session transaction isolation level READ COMMITTED;
Query OK, 0 rows affected (0.01 sec) dba@192.168.111.4 : dba_test 06:50:21>flush logs; Query OK, 0 rows affected (0.21 sec) dba@192.168.111.4 : dba_test 06:50:23>create table tmp_test(id int,name varchar(64),age int,primary key(id)) engine = innodb;
Query OK, 0 rows affected (0.14 sec) dba@192.168.111.4 : dba_test 06:50:49>insert into tmp_test values(1,'aaa',11);
Query OK, 1 row affected (0.13 sec) dba@192.168.111.4 : dba_test 06:50:54>insert into tmp_test values(2,'bbb',22);
Query OK, 1 row affected (0.11 sec) dba@192.168.111.4 : dba_test 06:50:54>insert into tmp_test values(3,'ccc',33);
Query OK, 1 row affected (0.11 sec) dba@192.168.111.4 : dba_test 06:50:54>insert into tmp_test values(4,'ddd',44);
Query OK, 1 row affected (0.11 sec) dba@192.168.111.4 : dba_test 06:50:54>insert into tmp_test values(5,'eee',55);
Query OK, 1 row affected (0.12 sec) BINLOG:
root@pubmed2:/var/log/mysql# mysqlbinlog -vv mysql-bin.000008 |grep "tmp_test"
create table tmp_test(id int,name varchar(64),age int,primary key(id)) engine = innodb
#160426 18:50:54 server id 1 end_log_pos 395 Table_map: `pubmed_data`.`tmp_test` mapped to number 44
### INSERT INTO `pubmed_data`.`tmp_test`
#160426 18:50:54 server id 1 end_log_pos 597 Table_map: `pubmed_data`.`tmp_test` mapped to number 44
### INSERT INTO `pubmed_data`.`tmp_test`
#160426 18:50:54 server id 1 end_log_pos 799 Table_map: `pubmed_data`.`tmp_test` mapped to number 44
### INSERT INTO `pubmed_data`.`tmp_test`
#160426 18:50:54 server id 1 end_log_pos 1001 Table_map: `pubmed_data`.`tmp_test` mapped to number 44
### INSERT INTO `pubmed_data`.`tmp_test`
#160426 18:50:55 server id 1 end_log_pos 1203 Table_map: `pubmed_data`.`tmp_test` mapped to number 44
### INSERT INTO `pubmed_data`.`tmp_test`
经过测试,在5.1、5.5、5.6都有这个情况,可能这个本身就不是问题。:)
总结:
除了上面说的一些条件影响binlog的记录格式外(Statement 到 Row),事务隔离也影响这binlog的记录格式行为。
MySQL Binlog Mixed模式记录成Row格式的更多相关文章
- 【MySQL】数据导出导入成CSV格式
一.自动输出中文字符集 select * from db into outfile 'test.csv' CHARACTER SET gbk fields terminated by ',' opti ...
- MySQL Binlog 【ROW】和【STATEMENT】选择(转)
前言: 二进制日记录了数据库执行更改的操作,如Insert,Update,Delete等.不包括Select等不影响数据库记录的操作,因为没有对数据进行修改.二进制主要的功能有:复制(Re ...
- MySQL binlog中的事件类型
MySQL binlog记录的所有操作实际上都有对应的事件类型的,譬如STATEMENT格式中的DML操作对应的是QUERY_EVENT类型,ROW格式下的DML操作对应的是ROWS_EVENT类型. ...
- 查看mysql binlog日志
1.使用show binlog events a.获取binlog文件列表 mysql> show binary logs; +------------------+-----------+ | ...
- binlog之四:mysql中binlog_format模式与配置详解,binlog的日志格式详解
mysql复制主要有三种方式:基于SQL语句的复制(statement-based replication, SBR),基于行的复制(row-based replication, RBR),混合模式复 ...
- mysql主服务器 binlog_format 的 statement,row, mixed 三种格式对比。
主服务器的日志格式用哪种好? 有 statement,row, mixed3种,其中mixed是指前2种的混合. 以insert into xxtable values (x,y,z)为例, 影响: ...
- Mysql Binlog 三种格式介绍及分析
一.Mysql Binlog格式介绍 Mysql binlog日志有三种格式,分别为Statement,MiXED,以及ROW! 1.Statement:每一条会修改数据的sql都会记录在 ...
- 转载-MySQL binlog三种模式及设置方法
原文地址:http://www.cnblogs.com/yangliheng/p/6187327.html 1.1 Row Level 行模式 日志中会记录每一行数据被修改的形式,然后在slave端 ...
- Mysql Binlog三种格式详细介绍
一.MySQL Binlog格式介绍 mysql binlog日志有三种格式,分别为Statement,MiXED,以及ROW! 查看binlog的格式的脚本: 二.binlog 的不同模式有什么区别 ...
随机推荐
- bzoj 1334: [Baltic2008]Elect
Description N个政党要组成一个联合内阁,每个党都有自己的席位数. 现在希望你找出一种方案,你选中的党的席位数要大于总数的一半,并且联合内阁的席位数越多越好. 对于一个联合内阁,如果某个政党 ...
- 微信内嵌html5页面清楚缓存
给每个js添加一个版本号,每次修改js后改变一下版本号,浏览器即可自动刷新不用手动清理缓存 <script src="<%=path%>/js/boss/kpi/redli ...
- AppBox升级进行时 - 关联表查询与更新(Entity Framework)
AppBox 是基于 FineUI 的通用权限管理框架,包括用户管理.职称管理.部门管理.角色管理.角色权限管理等模块. 关联表的查询操作 使用 Include 方法,我们可以在一次数据库查询中将关联 ...
- Xml,Json,Hessian,Protocol Buffers序列化对比
简介 这篇博客主要对Xml,Json,Hessian,Protocol Buffers的序列化和反序列化性能进行对比,Xml和Json的基本概念就不说了. Hessian:Hessian是一个轻量级的 ...
- 聚类算法:K-means
2013-12-13 20:00:58 Yanjun K-means算法是很典型的基于距离的聚类算法,采用距离作为相似性的评价指标,即认为两个对象的距离越近,其相似度就越大.该算法认为簇是由距离 ...
- 51Nod-1212 无向图最小生成树
51Nod: 1212 无向图最小生成树. link: http://www.51nod.com/onlineJudge/questionCode.html#!problemId=1212 1212 ...
- 创建一个新的Activity
1.创建一个类继承Activity类,并创建对应的布局文件,在onCreate方法中加载该布局. 2.在AndroidManifest.xml声明该组件 注:如果想配置一个activity在桌面上有该 ...
- [MAVEN]二、常用命令
mvn eclipse:eclipse :生成 Eclipse 项目文件,生成后可以导入到eclipse中使用 mvn install :在本地 Repository 中安装 jar ,若是Web项目 ...
- 正确遍历ElasticSearch索引
1:ElasticSearch的查询过程 2:由ES查询模式引起的深度分页问题 3:如何正确遍历索引中的数据 ElasticSearch的查询过程 es的数据查询分两步: 第一步是的结果是获取满足查询 ...
- Android开发常见问题小结
1.布局文件 自己写的布局文件无得使用 原因:导入了系统的R文件 修改:将android.R 这句注释 或者删除 2.Activity作为主窗口设置 Activity无法启动,或者要设置Activit ...