[MySQL5.6] 最近对group commit的小优化

http://www.tuicool.com/articles/rEZr2q

最近花了一些时间在做MySQL Group Commit的优化，关于Group commit的原理，这里不再赘述，有兴趣的可以翻阅我之前的博客 http://mysqllover.com/?p=581，这里简单描述下两点优化，主要基于MySQL5.6.16

1.优化binlog_order_commits=0并且sync_binlog>0时的性能 

我们知道当binlog_order_commits关闭时，表示我们能接受binlog commit和innodb commit的顺序不同（这不会带来数据不一致，但可能会影响到热备份），关闭该选项可以带来一定程度的性能提升。

本优化也是基于该前提，假定sync_binlog =1000, 那么在第1000组事务进入sync stage时，需要去做binlog sync，我们知道fsync操作是非常慢且耗时的操作，而第1001组事务，显然无需去做sync，如果我们允许innodb/binlog commit失序，就可以让第1001组事务跳过sync stage，直接进入innodb commit

detail见 http://bugs.mysql.com/bug.php?id=73018 ，附加补丁

2.延迟写redo直到group commit时来提升性能

我们知道MySQL使用Binlog，Innodb XA的方式来进行crash recovery，所有记录在binlog中的事务我们都期望能够commit掉； 这意味着，在写binlog之前，需要确保事务的prepare状态被写到redo中，这样才能从crash中恢复.

原生的逻辑中，各个事务各自做innodb prepare, 并写redo log; 只有到了commit阶段，进入ordered_commit，才进入组提交；

我们主要集中在group commit的第一阶段：flush stage。 在该阶段，leader线程从队列中pop 线程加入queue，并依次flush thread cache到binlog文件.

修改后的流程： 1. 在Innodb prepare阶段不再write/sync redo log，而是直接返回

2.在group commit的flush stage阶段，修改成如下逻辑

a) 收集组提交队列

b) 调用ha_flush_logs 做一次redo write/sync

c) 将队列中thd的所有binlog cache写到binlog文件中

detail见 http://bugs.mysql.com/bug.php?id=73202 ， 附加补丁

[MySQL5.6] 最近对group commit的小优化的更多相关文章

  1. mysql-5.7 group commit 详解

    一.mysql group commit 的官方定义: InnoDB, like any other ACID-compliant database engine, flushes the redo ...

  2. [MySQL 5.6] MySQL 5.6 group commit 性能测试及内部实现流程

    [MySQL 5.6] MySQL 5.6 group commit 性能测试及内部实现流程 http://mysqllover.com/?p=581 尽管Mariadb以及Facebook在long ...

  3. Group Commit of Binary Log

    160222 09:19:26 mysqld_safe Starting mysqld daemon with databases from /data01/mysql 2016-02-22 09:1 ...

  4. MySQL 组提交（group commit）

    目录 前言 改进 原理 实现 参数 注意 前言 操作系统使用页面缓存来填补内存和磁盘访问的差距 对磁盘文件的写入会先写入道页面缓存中 由操作系统来决定何时将修改过的脏页刷新到磁盘 确保修改已经持久化到 ...

  5. [MySQL] Group Commit理解

    简单的方法理解MySQL Group Commit原理 一个摆渡将乘客从A点传输到B点 MySQL 5.0 行为 在MySQL 5.0中,摆渡会在A点按顺序搭载乘客,并且传送到B点.A点和B点的来回行 ...

  6. MySQL组提交(group commit)

    MySQL组提交(group commit) 前提: 以下讨论的前提 是设置MySQL的crash safe相关参数为双1: sync_binlog=1 innodb_flush_log_at_trx ...

  7. SPFA 小优化*2

    /* bzoj 2763 SPFA小优化 循环队列+SLF 顺面改掉自己之前手打qeueu的坏毛病*/ #include<iostream> #include<cstring> ...

  8. 缓存 Array.length 是老生常谈的小优化

    问题 缓存 Array.length 是老生常谈的小优化. // 不缓存 for (var i = 0; i < arr.length; i++) { ... } // 缓存 var len = ...

  9. SPFA的小优化

    标签:闲扯 SPFA的小优化 1. 向队尾加入元素时,如果它比对首还优,就把把它直接和队首交换. 拿一个双端队列来实现 (手写 , head ,tail   STLdeque亲测及其慢) 这个小优化其 ...

随机推荐

  1. Github上star和fork比较高的vim配置方案

    https://github.com/amix/vimrchttps://github.com/humiaozuzu/dot-vimrchttps://github.com/spf13/spf13-v ...

  2. Linq-string判断忽略大小写

    Coupon203Play play = dbContext.Coupon203Plays.Where(u => u.VerifyCode.Equals(verifyCode,StringCom ...

  3. 【swagger学习】.net WebApi中使用swagger

    我在WebApi中使用swagger的时候发现会出现很多问题,搜索很多地方都没找到完全解决问题的方法,后面自己解决了,希望对于遇到同样问题朋友有帮助.我将先一步一步的演示项目中解决swagger遇到问 ...

  4. android cannot locate symbol 'sigemptyset'问题解决

    设备是android 4.1的平板电脑,支持armeabi-v7a和mips,为了能用上poco c++ lib,用cmake编译了poco mips架构的lib,但在android studio里引 ...

  5. 移动端前端框架UI库

    移动端前端框架UI库(Frozen UI.WeUI.SUI Mobile) Frozen UI 自述:简单易用,轻量快捷,为移动端服务的前端框架. 主页:http://frozenui.github. ...

  6. CF 1073C Vasya and Robot（二分答案）

    C. Vasya and Robot time limit per test 1 second memory limit per test 256 megabytes input standard i ...

  7. Mac下门罗币矿工样本分析

    背景 今天遇到一个JSONRPC的告警,怀疑挖矿木马,IOC是132.148.245.101,无其他信息,随即google一波. 查询网络 遇到了,主动下载样本分析,下载地址:http://rjj.q ...

  8. 2-1 nodejs和npm的安装和环境搭建

    1.安装node.js (最新已经集成npm)  https://nodejs.org/en/ 2.升级npm $ npm install -g npm $ cnpm install -g cnpm ...

  9. 【CF914G】Sum the Fibonacci 快速？？变换模板

    [CF914G]Sum the Fibonacci 题解:给你一个长度为n的数组s.定义五元组(a,b,c,d,e)是合法的当且仅当: 1. $1\le a,b,c,d,e\le n$2. $(s_a ...

  10. C++语言的学习环境

    一.Mac C++语言的学习环境 1. 1.1.C语言 :终端->bash-vi/vim文本编辑器->GNU->GCC文件编译器->a.out可执行文件 1.2.C++语言:终 ...