[MySQL5.6] 最近对group commit的小优化

http://www.tuicool.com/articles/rEZr2q

最近花了一些时间在做MySQL Group Commit的优化，关于Group commit的原理，这里不再赘述，有兴趣的可以翻阅我之前的博客 http://mysqllover.com/?p=581，这里简单描述下两点优化，主要基于MySQL5.6.16

1.优化binlog_order_commits=0并且sync_binlog>0时的性能 

我们知道当binlog_order_commits关闭时，表示我们能接受binlog commit和innodb commit的顺序不同（这不会带来数据不一致，但可能会影响到热备份），关闭该选项可以带来一定程度的性能提升。

本优化也是基于该前提，假定sync_binlog =1000, 那么在第1000组事务进入sync stage时，需要去做binlog sync，我们知道fsync操作是非常慢且耗时的操作，而第1001组事务，显然无需去做sync，如果我们允许innodb/binlog commit失序，就可以让第1001组事务跳过sync stage，直接进入innodb commit

detail见 http://bugs.mysql.com/bug.php?id=73018 ，附加补丁

2.延迟写redo直到group commit时来提升性能

我们知道MySQL使用Binlog，Innodb XA的方式来进行crash recovery，所有记录在binlog中的事务我们都期望能够commit掉； 这意味着，在写binlog之前，需要确保事务的prepare状态被写到redo中，这样才能从crash中恢复.

原生的逻辑中，各个事务各自做innodb prepare, 并写redo log; 只有到了commit阶段，进入ordered_commit，才进入组提交；

我们主要集中在group commit的第一阶段：flush stage。 在该阶段，leader线程从队列中pop 线程加入queue，并依次flush thread cache到binlog文件.

修改后的流程： 1. 在Innodb prepare阶段不再write/sync redo log，而是直接返回

2.在group commit的flush stage阶段，修改成如下逻辑

a) 收集组提交队列

b) 调用ha_flush_logs 做一次redo write/sync

c) 将队列中thd的所有binlog cache写到binlog文件中

detail见 http://bugs.mysql.com/bug.php?id=73202 ， 附加补丁

[MySQL5.6] 最近对group commit的小优化的更多相关文章

  1. mysql-5.7 group commit 详解

    一.mysql group commit 的官方定义: InnoDB, like any other ACID-compliant database engine, flushes the redo ...

  2. [MySQL 5.6] MySQL 5.6 group commit 性能测试及内部实现流程

    [MySQL 5.6] MySQL 5.6 group commit 性能测试及内部实现流程 http://mysqllover.com/?p=581 尽管Mariadb以及Facebook在long ...

  3. Group Commit of Binary Log

    160222 09:19:26 mysqld_safe Starting mysqld daemon with databases from /data01/mysql 2016-02-22 09:1 ...

  4. MySQL 组提交（group commit）

    目录 前言 改进 原理 实现 参数 注意 前言 操作系统使用页面缓存来填补内存和磁盘访问的差距 对磁盘文件的写入会先写入道页面缓存中 由操作系统来决定何时将修改过的脏页刷新到磁盘 确保修改已经持久化到 ...

  5. [MySQL] Group Commit理解

    简单的方法理解MySQL Group Commit原理 一个摆渡将乘客从A点传输到B点 MySQL 5.0 行为 在MySQL 5.0中,摆渡会在A点按顺序搭载乘客,并且传送到B点.A点和B点的来回行 ...

  6. MySQL组提交(group commit)

    MySQL组提交(group commit) 前提: 以下讨论的前提 是设置MySQL的crash safe相关参数为双1: sync_binlog=1 innodb_flush_log_at_trx ...

  7. SPFA 小优化*2

    /* bzoj 2763 SPFA小优化 循环队列+SLF 顺面改掉自己之前手打qeueu的坏毛病*/ #include<iostream> #include<cstring> ...

  8. 缓存 Array.length 是老生常谈的小优化

    问题 缓存 Array.length 是老生常谈的小优化. // 不缓存 for (var i = 0; i < arr.length; i++) { ... } // 缓存 var len = ...

  9. SPFA的小优化

    标签:闲扯 SPFA的小优化 1. 向队尾加入元素时,如果它比对首还优,就把把它直接和队首交换. 拿一个双端队列来实现 (手写 , head ,tail   STLdeque亲测及其慢) 这个小优化其 ...

随机推荐

  1. Unicode编码转换汉字

    Uri.UnescapeDataString(string) #region Unicode转换汉字 Console.WriteLine(Uri.UnescapeDataString("\u ...

  2. nginx fastcgi.conf的参数

       编写FastCGI程序的时候有很多像php一样的参数可以获取到,并利用起来,下面就是FastCGI的一些参数.     fastcgi_param  SCRIPT_FILENAME    $do ...

  3. luanet分布式lua框架

    luanet最初只是一个网络框架,它简单的封装了一些网络相关接口然后暴露到lua中,让lua可以构建简单的网络应用. 随着我的手游服务器的开发,我发现在C语言中要实现一个简洁易用的RPC调用接口并不容 ...

  4. 【推荐系统论文笔记】Introduction To Recommender Systems: Algorithms and Evaluation

    这篇论文比较短,正如题目所说,主要还是简单地介绍了一下推荐系统的一些算法以及评估的方法. 推荐系统之前是基于关键字信息的过滤系统,后来发展成为协同过滤系统,解决了两个问题:1.通过人工审核去评价那些具 ...

  5. Linux（Ubuntu）下如何解压 .zip 文件

    安装解压缩软件 使用如下命令安装: sudo apt-get install p7zip-full 7zip,估计会比较熟悉. p7zip,是什么? 听说是 7zip 的 shell 封装. 解压 使 ...

  6. cmake openssl ios

    1 下载源代码 git clone https://github.com/pol51/OpenSSL-CMake.git cd OpenSSL-CMake mkdir build && ...

  7. sencha touch 在线实战培训 第一期 第三节

    2014.1.2晚上8点开的课 讲课进度比较快,好多同学反应说有些跟不上了... 呃,本期的课程是需要有一定的基础的. 建议大家多看看http://www.cnblogs.com/mlzs/p/346 ...

  8. C# 未能加载文件或程序集“mysql.data”或它的某一个依赖项。找到的程序集清单定义与程序集引用不匹配。 (异常来自 HRESULT:0x80131040)

    报错信息: 在web.config中已经加了以下代码. <runtime> <assemblyBinding xmlns="urn:schemas-microsoft-co ...

  9. mysql 存储过程用程序调的问题

    记一下,存储过程加了commit结果用mysql客户端执行不报错,用jdbcTemplate执行就执行了一步,因为加了commit后面的程序都不跑了.另外 存储过程里面如果用java调的话select ...

  10. MUI---IOS切换到后台继续播放音乐

    应用切换到后台继续音乐播放HBuilder默认生成的应用在iOS是不支持后台音乐播放的,当应用切换到后台时音乐将暂停播放,下次切换到前台继续播放.如果要支持应用切换到后台后继续播放音乐功能需要进行额外 ...