MySQL purge log简单吗
MySQL purge log简单吗?
简单: purge log的功能很简单,purge master logs to 指定一个binlog,然后删除之前的文件系统上的binlog文件,并更新binlog.index文件。
复杂: 需要保证purge的原子操作吗, 怎么保证, 有崩溃恢复吗?
之前没有读过代码,想到代码实现上会遇到的问题:
问题1: 如果删除文件比较多,怎么平衡加锁的时间?
问题2: 怎么保证os文件删除和index文件的同步?
问题3: 怎么保证index文件写入是完整的?
问题4: 如果index更新了,文件没有删除,或者相反的情形发生会怎么样?
问题5: 最后如何清理index文件的前面n个字节,然后更改文件大小?
总体来说,也就是,在没有使用事务引擎来保证的一系列操作(purge log包括了多步操作),如何保证ACID或者进行了什么取舍?
1. purge log的测试:
purge master logs to 'binlog.000012';
2. 主要的数据结构:
typedef struct st_log_info
{
char log_file_name[FN_REFLEN];
my_off_t index_file_offset, index_file_start_offset;
my_off_t pos;
bool fatal;
mysql_mutex_t lock;
}
3. purge的简略步骤:
step 1: 为命令行输入的binlog.000012补充目录成一个绝对路径文件。
函数: MYSQL_BIN_LOG::make_log_name
根据当前的log_file_name, 计算目录的长度,最后生成完整的to_log.
step 2: 在binlog.index文件中查找binlog.000012文件。
函数: find_log_pos: 如果没有找到这个文件,就报错。比如文本文件格式不对,就无法删除。
step 3: 初始化index 文件的io cache。最终找到binlog.000012在index的位置。
step 4: 创建purge index临时文件
创建binlog.~rec~ 保存要删除的binlog文件。
step 5: 重新init index_file, 从开始位置读取。匹配每一个binlog,写入到purge index file。
step 6: 写入purge index file,并刷新
1. 先flush io把在内存中的数据写入文件系统标准IO缓存。
2. sync purge_index_file, 使用fdatasync。持久化到磁盘上。
step 7: 更新index文件。
1. mysql_file_seek,
2. mysql_file_read,
3. mysql_file_seek,
4. mysql_file_write
使用 1->2->3->4的时序删除文件的前n个字节。
5. ftruncate改变index文件的大小
step 8: 删除os上的文件,并删除purge index log临时文件
4. 现在再来看看这些问题:
问题1:
binlog.index文件是share的,purge的整个过程如果一直锁住,那主库这时要flush log就无法获取锁。
所以使用类似copy on write的策略,释放锁后,异步慢慢删除os上的文件。
即保证了index文件的加锁完整写入,又没有长时间影响主库切换binlog日志。
问题2:
因为异步化了os文件删除动作,这里无法保证index文件记录删除和os文件删除的同步。这里依赖purge index file
来完成同步和崩溃恢复。
问题3: index文件的写入是无法保证一行是一个完整的binlog文件,这个依赖文件系统。
但index文件是文本文件,当purge解析出错的时候,运维是可以修改这个文件来修复的。
注:如果是二进制文件,这样取舍可行吗,恐怕要使用事务引擎来保证了。
问题4:
1. 如果index文件更新了,os文件没有删除
当MySQL crash恢复的时候,会读取purge index file继续删除
2. 如果文件删除,index文件没有更新
从上面的步骤上看,不允许这中情况发生
问题5:
文件删除前面n字节的问题,本身可以使用另外一种策略,新建一个表,copy数据,rename。
但binlog.index是share的,不允许在线rename,所以使用步骤7的过程,在一个file handler上完成。
取舍: index file作为MySQL binlog文件的数据字典,首先要保证其数据的一致性,而os的文件是否能够删除可以进行取舍。
不知道实现的时候觉得命令很简单。
在想那些实现问题的时候,觉得又有点复杂。
看了源码后,觉得是自己又想复杂了。
MySQL purge log简单吗的更多相关文章
- 谁记录了mysql error log中的超长信息
[问题] 最近查看MySQL的error log文件时,发现有很多服务器的文件中有大量的如下日志,内容很长(大小在200K左右),从记录的内容看,并没有明显的异常信息. 有一台测试服务器也有类似的问题 ...
- 谁记录了mysql error log中的超长信息(记pt-stalk一个bug的定位过程)
[问题] 最近查看MySQL的error log文件时,发现有很多服务器的文件中有大量的如下日志,内容很长(大小在200K左右),从记录的内容看,并没有明显的异常信息. 有一台测试服务器也有类似的问题 ...
- MySQL redo log 与 binlog 的区别
MySQL redo log 与 binlog 的区别 什么是redo log 什么是binlog redo log与binlog的区别 1. 什么是redo log? redo log又称重做日志文 ...
- 进击的Python【第十二章】:mysql介绍与简单操作,sqlachemy介绍与简单应用
进击的Python[第十二章]:mysql介绍与简单操作,sqlachemy介绍与简单应用 一.数据库介绍 什么是数据库? 数据库(Database)是按照数据结构来组织.存储和管理数据的仓库,每个数 ...
- Linux安装MariaDB(Mysql)和简单配置 mariadb
Linux安装MariaDB(Mysql)和简单配置 1.安装MariaDB 安装命令 yum -y install mariadb mariadb-server 安装完成MariaDB,首先启动Ma ...
- MySQL主从同步简单介绍&配置
介绍: 现在mysql集群基本上都是使用一主多从方式,实现读写分离(主库写.从库读).负载均衡.数据备份,以前只是使用从未配置过,今天简单配置一下! mysql主从复制是通过binary log日志实 ...
- MySQL主从复制的简单搭建
@ 目录 1.MySQL一主一从的简单搭建 1.1.主从复制简介 1.2.MySQL主从复制简介 1.3.主从复制的架构 1.4.前期准备 1.5.主要配置实现 1.5.1.测试环境 1.5.2.配置 ...
- mysql general log日志
注:应一直出现http://www.cnblogs.com/hwaggLee/p/6030765.html文章中的问题 故mysql general log日志.查看具体是什么命令导致的. 打开 ge ...
- PHP连接局域网MYSQL数据库的简单实例
PHP连接局域网MYSQL数据库的简单实例 [php] view plaincopy <?PHP /** * php连接mysql数据库 * by www.jbxue.com */ $conn= ...
随机推荐
- Web前端新人笔记之HeightCharts基础
通常情况下,Highcharts包含标题(Title).坐标轴(Axis).数据列(Series).数据提示框(Tooltip).图例(Legend).版权信息(Credits)等,高级的还包括导出功 ...
- VIM 同义词
vim-online-thesaurus A Vim plugin for looking up words in an online thesaurus, Now thesaurus.com 一.原 ...
- [翻译][MVC 5 + EF 6] 6:创建更复杂的数据模型
原文:Creating a More Complex Data Model for an ASP.NET MVC Application 前面的教程中,我们使用的是由三个实体组成的简单的数据模型.在本 ...
- Linux之最最最最基础(包括在虚拟机中安装linux系统)
这里是以CentOS 6.5 64bit为例(学习用这个,Kali神马的有兴趣自己研究(这个系统是玩渗透用的)) 一 ---->配置Vmware Workstation 自定义--选择 ...
- RX学习笔记:在FreeCodeCamp的学习
FreeCodeCamp https://www.freecodecamp.com 2016-07-03 前几日在Github浏览时,偶然看到一个叫FreeCodeCamp的开源项目,进去该网站之后感 ...
- 还原数据库备份文件时,关于“System.Data.SqlClient.SqlError:媒体集有2个媒体簇,但只提供了1个。必须提供所有成员”的处理方式
好久没写博客了,最近在做毕设的权限管理模块,今天在还原数据库文件时,遇到了“System.Data.SqlClient.SqlError:媒体集有2个媒体簇,但只提供了1个.必须提供所有成员”这个错误 ...
- c#基础知识对比(面向对象)
private,protected,public和internal private:是完全私有的,只有本类自己能用[好比自己的老婆,只有你自己可以调用,其他谁都不可以] protected:可被外界看 ...
- input效果:当鼠标在input中输入文字是改变内部文字效果
主要用到属性:onpropertychange事件(属性改变时触发的事件),oninput属性(当input有输入时发生的事件) onpropertychange事件是IE专属事件 oninput属性 ...
- Java遍历所有网卡打印对应IP
import java.util.Enumeration; import java.net.*; public class Test { /** * @param args */ public sta ...
- WPF读书笔记 x名称空间详解(第二天)
每天看一点,每天进步一点. x名称空间映射的是http://schemas.microsoft.com/winfx/2006/xaml,它包含的类均与解析XAML语言关,亦可称为"XAML名 ...