binlog2sql实现MySQL误操作的恢复
对于MySQL数据库中的误操作删除数据的恢复问题,可以使用基于MySQL中binlog做到类似于闪回或者生成反向操作的SQL语句来实现,是MySQL中一个非常实用的功能。
原理不难理解,基于MySQL的row格式的binlog中,记录历史的增删改SQL信息,基于此解析出来对应的SQL语句(回滚的话就是反向的SQL语句)。
在格式为binlog格式为row的日志模式下,binlog中的内容记录了数据库中曾经执行的增删改信息,都是包含了反向信息的
比如执行delete from table where pk_id = 1;按照主键来删除一条记录
对应的binlog中的sql语句为:delete from table where pk_id = 1 and name = 'xxx' and other_column = 'xxx';where条件不仅仅是原始语句的Id,而且还包括中这一行所有的字段的信息的
update操作也同理,不但记录了update操作,同时记录了update记录在更新之前的每一个字段的值。这样就可以利用这个日志来生成反向操作信息。
如下是利用mysqlbinlog 工具解析出来的一个MySQL中典型的binlog日志文件的部分内容,可以清楚地看到执行过的sql语句的信息。
说到这里,对于MySQL中基于binlog的一些应用,比如复制或者数据库还原,其实就是重复执行某个数据库上的历史执行过的增删改SQL语句来实现的。
题外话:MySQL的binlog作用记录事务语句的作用上,基本上等同于SQLServer的的事务日志。
但是SQL Server的事务日志正的二进制内容的,微软官方也没有提供解析的方法,而MySQL中完全可以通过mysqlbinlog 来解析出来这个日志中的内容。
如下是通过MySQL自带的mysqlbinlog工具解析出来的binlog日志文件中的信息,可以看到其中的SQL语句信息(参数--base64-output=decode-rows -v)。

知道了binlog中的内容,就可以基于这个binlog来实现各种实用的功能,典型的就是误删数据的还原操作,比如苏家小萝卜同学就自己用Python搞定这个解析功能
类似功能比较知名的还有大众点评网DBA自己写的binlog2sql工具,也是久闻大名,终于有机会尝试了。
binlog2sql需要语句pip安装,所以需要先安装pip
pip 安装参考:https://www.cnblogs.com/technologylife/p/5870576.html


binlog2sql下载以及安装:https://github.com/danfengcao/binlog2sql

完成了binlog2sql之后,就可以使用它来实现数据的还原操作了,如下模拟一个误操作的恢复
在开启了binlog,日志格式为row的测试数据下,对于测试表test_01,分别执行以下sql语句:
insert into test_01 values (1,'aaa');
insert into test_01 values (2,'bbb');
insert into test_01 values (3,'vvv');
--以下误操作,更新了全部数据
update test_01 set name = 'xxx';
通过show master logs;找到当前的binlog文件,对应的sql语句的执行就存储在当前这个binlog中,binlog2sql的目标就是这个文件

参考下图,可以发现
执行:python binlog2sql.py -h127.0.0.1 -P3306 -uroot -p'root' -ddb01 -t test_01 --start-file='binlog.000021' (更多参数以及使用方式参考下文链接),通过binlog2sql来解析当前的binlog文件,
解析出来的SQL语句就是正常SQL语句的执行(insert insert insert update(3行记录))
执行:python binlog2sql.py -h127.0.0.1 -P3306 -uroot -p'root' -ddb01 -t test_01 --start-file='binlog.000021' -B,通过-B参数生成反向的操作信息
加参数-B解析出来的SQL语句与上面的SQL语句刚好相反,包括顺序,也即以倒序的方式生成反向的操作
原始操作是insert insert insert update update update,反向的操作就是upfate update update delete delete delete,
这样一来,可以根据具体的情况,截取生成的反向的sql语句,进行误操作的还原。
以上操作注意安装的binlog2sql的路径问题,如果路径不对,找不到binlog2sql.py,上述命令也就无法执行

更多binlog2sql参数以及用法和限制参考官方GitHub:https://github.com/danfengcao/binlog2sql
binlog2sql实现MySQL误操作的恢复的更多相关文章
- MySQL binlog2sql实现MySQL误操作的恢复
对于MySQL数据库中的误操作删除数据的恢复问题,可以使用基于MySQL中binlog做到类似于闪回或者生成反向操作的SQL语句来实现,是MySQL中一个非常实用的功能.原理不难理解,基于MySQL的 ...
- MySQL误操作删除后,怎么恢复数据?
MySQL误操作删除后,怎么恢复数据?登陆查数据库mysql> select * from abc.stad;+----+-----------+| id | name |+----+----- ...
- MySQL误操作后如何快速恢复数据
基本上每个跟数据库打交道的程序员(当然也可能是你同事)都会碰一个问题,MySQL误操作后如何快速回滚?比如,delete一张表,忘加限制条件,整张表没了.假如这还是线上环境核心业务数据,那这事就闹大了 ...
- MySQL 误操作后如何快速恢复数据~!~!~
基本上每个跟数据库打交道的程序员(当然也可能是你同事)都会碰一个问题,MySQL误操作后如何快速回滚?比如,delete一张表,忘加限制条件,整张表没了.假如这还是线上环境核心业务数据,那这事就闹大了 ...
- MySQL误操作后如何快速回滚(转)
本文转自http://www.cnblogs.com/dfcao/p/6147970.html#undefined 感谢作者 基本上每个跟数据库打交道的程序员(当然也可能是你同事)都会碰一个问题,My ...
- MySQL误操作后如何快速恢复数据?
摘要: 利用binlog闪回误操作数据. 基本上每个跟数据库打交道的程序员(当然也可能是你同事)都会碰一个问题,MySQL误操作后如何快速回滚?比如,delete一张表,忘加限制条件,整张表没了.假如 ...
- MySQL 误操作后数据恢复(update,delete忘加where条件)【转】
在数据库日常维护中,开发人员是最让人头痛的,很多时候都会由于SQL语句 写的有问题导致服务器出问题,导致资源耗尽.最危险的操作就是在做DML操作的时候忘加where条件,导致全表更新,这是作为运维或者 ...
- mysql误操作后通过binlog恢复,同时解决tmp目录满的问题
注意: 本文的恢复,并不是基于恢复某个时间点的全量备份后的增量恢复,而是指在现有数据库基础上基于binlog的恢复.适用于较小的数据误操作. 提取日志文件为sql语句: /usr-ext/local/ ...
- MySQL 误操作后数据恢复(update,delete忘加where条件)
在数据库日常维护中,开发人员是最让人头痛的,很多时候都会由于SQL语句写的有问题导致服务器出问题,导致资源耗尽.最危险的操作就是在做DML操作的时候忘加where条件,导致全表更新,这是作为运维或者D ...
随机推荐
- HISI VENC 实际输出帧率控制
https://blog.csdn.net/spy_007_/article/details/83688287 平台:HI3516EV100 SDK : Hi3516CV300_SDK_V1.0.2. ...
- 18.22 sprintf函数功能
函数功能:把格式化的数据写入某个字符串 函数原型:int sprintf( char *buffer, const char *format [, argument] … ); 返回值:字符串长度(s ...
- docker的windows环境设置
1.下载docker-install.exe安装VirtualBox.Git.Boot2Docker for Windows 2.设置环境变量,启动boot2docker Core Linux. 可以 ...
- python之路——18
王二学习python的笔记以及记录,如有雷同,那也没事,欢迎交流,wx:wyb199594 有需要<正则指引>这本书的可以联系我,仅供学习交流使用 复习 1.递归函数,必须有结束条件2.返 ...
- JeeCMS v7 SSRF导致任意文件写入
前言: 学习大佬的思路. from先知社区:https://xz.aliyun.com/t/4809 00X1: 是/ueditor/getRemoteImage.jspx 接口 通过构造upfile ...
- Apartment 2019
Apartment 2019 最近在学习3D建模,Apartment 2019是我的个人项目. 初步的想法是,先在网上找公寓建筑的平面图以及室内效果照片,根据这些参考图像来练习建模与渲染. 建模顺序与 ...
- windows2012 IIS部署GeoTrust证书踩过的坑。 视频测试可用 IIS 证书导入
证书导入方式 https://wenku.baidu.com/view/3504f29a55270722192ef78a.html https://www.cnblogs.com/jackrebel/ ...
- 刘志梅2017710101152.《面向对象程序设计(java)》第十一周学习总结
实验十一 集合 实验时间 2018-11-8 1.实验目的与要求 (1) Java最初版本只为最常用的数据结构提供了很少的一组类:Vector.Stack.Hashtable.BitSet与Enu ...
- Redis深入学习笔记(五)Redis阻塞原因
在实际使用Redis中,有时会碰到客户端timeout异常,或者没有可用连接异常等等异常,总结大概有如下原因: 内部阻塞原因: 1)大对象存取. 2)Fork阻塞. 3)Aof刷盘阻塞(距离上次刷盘大 ...
- Oracle “CONNECT BY” (层级递归查询)
Oracle “CONNECT BY”是层次查询子句,一般用于树状或者层次结果集的查询.其语法是: ? 1 2 [ START WITH condition ] CONNECT BY [ NOCYCL ...