[MySQL5.6] 最近对group commit的小优化

http://www.tuicool.com/articles/rEZr2q

最近花了一些时间在做MySQL Group Commit的优化，关于Group commit的原理，这里不再赘述，有兴趣的可以翻阅我之前的博客 http://mysqllover.com/?p=581，这里简单描述下两点优化，主要基于MySQL5.6.16

1.优化binlog_order_commits=0并且sync_binlog>0时的性能 

我们知道当binlog_order_commits关闭时，表示我们能接受binlog commit和innodb commit的顺序不同（这不会带来数据不一致，但可能会影响到热备份），关闭该选项可以带来一定程度的性能提升。

本优化也是基于该前提，假定sync_binlog =1000, 那么在第1000组事务进入sync stage时，需要去做binlog sync，我们知道fsync操作是非常慢且耗时的操作，而第1001组事务，显然无需去做sync，如果我们允许innodb/binlog commit失序，就可以让第1001组事务跳过sync stage，直接进入innodb commit

detail见 http://bugs.mysql.com/bug.php?id=73018 ，附加补丁

2.延迟写redo直到group commit时来提升性能

我们知道MySQL使用Binlog，Innodb XA的方式来进行crash recovery，所有记录在binlog中的事务我们都期望能够commit掉； 这意味着，在写binlog之前，需要确保事务的prepare状态被写到redo中，这样才能从crash中恢复.

原生的逻辑中，各个事务各自做innodb prepare, 并写redo log; 只有到了commit阶段，进入ordered_commit，才进入组提交；

我们主要集中在group commit的第一阶段：flush stage。 在该阶段，leader线程从队列中pop 线程加入queue，并依次flush thread cache到binlog文件.

修改后的流程： 1. 在Innodb prepare阶段不再write/sync redo log，而是直接返回

2.在group commit的flush stage阶段，修改成如下逻辑

a) 收集组提交队列

b) 调用ha_flush_logs 做一次redo write/sync

c) 将队列中thd的所有binlog cache写到binlog文件中

detail见 http://bugs.mysql.com/bug.php?id=73202 ， 附加补丁

[MySQL5.6] 最近对group commit的小优化的更多相关文章

  1. mysql-5.7 group commit 详解

    一.mysql group commit 的官方定义: InnoDB, like any other ACID-compliant database engine, flushes the redo ...

  2. [MySQL 5.6] MySQL 5.6 group commit 性能测试及内部实现流程

    [MySQL 5.6] MySQL 5.6 group commit 性能测试及内部实现流程 http://mysqllover.com/?p=581 尽管Mariadb以及Facebook在long ...

  3. Group Commit of Binary Log

    160222 09:19:26 mysqld_safe Starting mysqld daemon with databases from /data01/mysql 2016-02-22 09:1 ...

  4. MySQL 组提交（group commit）

    目录 前言 改进 原理 实现 参数 注意 前言 操作系统使用页面缓存来填补内存和磁盘访问的差距 对磁盘文件的写入会先写入道页面缓存中 由操作系统来决定何时将修改过的脏页刷新到磁盘 确保修改已经持久化到 ...

  5. [MySQL] Group Commit理解

    简单的方法理解MySQL Group Commit原理 一个摆渡将乘客从A点传输到B点 MySQL 5.0 行为 在MySQL 5.0中,摆渡会在A点按顺序搭载乘客,并且传送到B点.A点和B点的来回行 ...

  6. MySQL组提交(group commit)

    MySQL组提交(group commit) 前提: 以下讨论的前提 是设置MySQL的crash safe相关参数为双1: sync_binlog=1 innodb_flush_log_at_trx ...

  7. SPFA 小优化*2

    /* bzoj 2763 SPFA小优化 循环队列+SLF 顺面改掉自己之前手打qeueu的坏毛病*/ #include<iostream> #include<cstring> ...

  8. 缓存 Array.length 是老生常谈的小优化

    问题 缓存 Array.length 是老生常谈的小优化. // 不缓存 for (var i = 0; i < arr.length; i++) { ... } // 缓存 var len = ...

  9. SPFA的小优化

    标签:闲扯 SPFA的小优化 1. 向队尾加入元素时,如果它比对首还优,就把把它直接和队首交换. 拿一个双端队列来实现 (手写 , head ,tail   STLdeque亲测及其慢) 这个小优化其 ...

随机推荐

  1. iOS 动画效果：Core Animation & Facebook's pop

    本文转载至 http://www.cocoachina.com/ios/20151223/14739.html 感谢原创作者分享 前言相信很多人对实现 iOS 中的动画效果都特别头疼,往往懒得动手,功 ...

  2. Andoid数据存储之SQLite数据库

    SQLite是一个嵌入式的并且是一个轻量级的数据库: SQLite数据库支持大部分SQL语法, 允许使用SQL语句操作数据库, 其本质是一个文件, 不需要安装启动: SQLite数据库打开只是打开了一 ...

  3. Android学习之SeekBar(控制wav音频的声音)

    使用SeekBar调节声音 SeekBar控件其实就是一个高级点的进度条,就像我们在听歌,看电影用的播放器上的进度条一样,是可以拖动的,可以改变进度的一个进度条控件! SeekBar常用属性: and ...

  4. 【存储过程】用SQL语句获得一个存储过程返回的表

    定义一个存储过程如下: create proc [dbo].[test1] @id int as select 1 as id,'abc' as name union all select @id a ...

  5. springboot---->集成mybatis开发（二）

    这里面我们介绍一下springboot集成mybatis完成一对多数据和一对一数据的功能.任何一个人离开你 都并非突然做的决定 人心是慢慢变冷 树叶是渐渐变黄 故事是缓缓写到结局 而爱是因为失望太多 ...

  6. vue案例 - v-model实现自定义样式の多选与单选

    接,上文:https://www.cnblogs.com/padding1015/p/9265985.html 这两天在玩mpvue,但是下午如果对着文档大眼瞪小眼的话,肯定会睡着的. 想起昨晚的fl ...

  7. C和C++书籍推荐

    http://bestcbooks.com/recommend/most-influential-book/ http://www.ruanyifeng.com/blog/2011/09/c_prog ...

  8. LeetCode 23 Merge k Sorted Lists（合并k个有序链表）

    题目链接: https://leetcode.com/problems/merge-k-sorted-lists/?tab=Description Problem: 给出k个有序的list, 将其进行 ...

  9. ELK系列七：Elasticsearch的集群配置和监控以及在部署ELK中踩的坑

    1.基本下载安装 #按照ELK系列一博客安装启动即可,没有大坑,注意一下权限即可 chmod -R 777 ./elasticsearch #此外没有java的,注意安装下JDK,我这次部署的环境是C ...

  10. 安装cnpm

    使用淘宝镜像的cnpm $ npm install -g cnpm --registry=https://registry.npm.taobao.org