MySQL闪回-binlog2sql

功能

提取SQL

生成回滚SQL

 

 

限制：

mysql server必须开启，离线模式下不能解析binlog。

binlog格式必须是row模式。

flashback模式只支持DML，DDL将不做输出。

flashback模式，一次性处理的binlog不宜过大，不能超过内存大小(有待优化)。

binlog2sql强烈依赖于MySQL复制协议，如果复制协议发生改变，则该工具将不可用。

 

 

安装

 

如果服务器不能上网,安装方法：

安装setuptools

下载地址：http://pypi.python.org/packages/source/s/setuptools/setuptools-2.0.tar.gz

tar zxvf setuptools-2.0.tar.gz

cd setuptools-2.0

python setup.py build

python setup.py install

 

 

安装pip

下载地址：https://pypi.python.org/packages/source/p/pip/pip-1.5.4.tar.gz#md5=834b2904f92d46aaa333267fb1c922bb

tar zxvf pip-1.5.4.tar.gz

cd pip-1.5.4

python setup.py install

 

 

安装binlog2sql安装包

下载地址：https://github.com/danfengcao/binlog2sql

unzip binlog2sql-master.zip 

cd binlog2sql-master

pip install -r requirements.txt

 

 

MySQL server必须设置以下参数:

 

[mysqld]

server_id = 1

log_bin = /var/log/mysql/mysql-bin.log

max_binlog_size = 1G

binlog_format = row

binlog_row_image = full

 

 

user需要的最小权限集合：

 

select, super/replication client, replication slave

 

建议授权

GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 

 

权限说明

select：需要读取server端information_schema.COLUMNS表，获取表结构的元信息，拼接成可视化的sql语句

super/replication client：两个权限都可以，需要执行'SHOW MASTER STATUS', 获取server端的binlog列表

replication slave：通过BINLOG_DUMP协议获取binlog内容的权限

 

 

基本用法

 

解析出标准SQL

 

shell> python binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p'admin' -dtest -t test3 test4 --start-file='mysql-bin.000002'

 

输出：

INSERT INTO `test`.`test3`(`addtime`, `data`, `id`) VALUES ('2016-12-10 13:03:38', 'english', 4); #start 570 end 736

UPDATE `test`.`test3` SET `addtime`='2016-12-10 12:00:00', `data`='中文', `id`=3 WHERE `addtime`='2016-12-10 13:03:22' AND `data`='中文' AND `id`=3 LIMIT 1; #start 763 end 954

DELETE FROM `test`.`test3` WHERE `addtime`='2016-12-10 13:03:38' AND `data`='english' AND `id`=4 LIMIT 1; #start 981 end 1147

 

解析出回滚SQL

 

shell> python binlog2sql.py --flashback -h127.0.0.1 -P3306 -uadmin -p'admin' -dtest -ttest3 --start-file='mysql-bin.000002' --start-position=763 --stop-position=1147

 

输出：

INSERT INTO `test`.`test3`(`addtime`, `data`, `id`) VALUES ('2016-12-10 13:03:38', 'english', 4); #start 981 end 1147

UPDATE `test`.`test3` SET `addtime`='2016-12-10 13:03:22', `data`='中文', `id`=3 WHERE `addtime`='2016-12-10 12:00:00' AND `data`='中文' AND `id`=3 LIMIT 1; #start 763 end 954

 

选项

 

mysql连接配置

 

-h host; -P port; -u user; -p password

 

解析模式

 

 

--stop-never 持续同步binlog。可选。不加则同步至执行命令时最新的binlog位置。

 

-K, --no-primary-key 对INSERT语句去除主键。可选。

 

-B, --flashback 生成回滚语句，可解析大文件，不受内存限制，每打印一千行加一句SLEEP SELECT(1)。可选。与stop-never或no-primary-key不能同时添加。

 

 

解析范围控制

 

--start-file 起始解析文件。必须。

 

--start-position/--start-pos start-file的起始解析位置。可选。默认为start-file的起始位置。

 

--stop-file/--end-file 末尾解析文件。可选。默认为start-file同一个文件。若解析模式为stop-never，此选项失效。

 

--stop-position/--end-pos stop-file的末尾解析位置。可选。默认为stop-file的最末位置；若解析模式为stop-never，此选项失效。

 

--start-datetime 从哪个时间点的binlog开始解析，格式必须为datetime，如'2016-11-11 11:11:11'。可选。默认不过滤。

 

--stop-datetime 到哪个时间点的binlog停止解析，格式必须为datetime，如'2016-11-11 11:11:11'。可选。默认不过滤。

 

 

对象过滤

 

-d, --databases 只输出目标db的sql。可选。默认为空。

 

-t, --tables 只输出目标tables的sql。可选。默认为空。

 

提取SQL示例使用示例：

[root@cdfdb1 binlog2sql]# python binlog2sql.py -h 192.168.56.21 -uroot -poracle -d mydb1 --start-file mysql-bin.000066

INSERT INTO `mydb1`.`tb01`(`id`, `name`) VALUES (100, 'delete_test'); #start 4 end 296 time 2017-05-09 02:35:08

 

生成回滚SQL示例：

[root@cdfdb1 binlog2sql]# python binlog2sql.py -B -h 192.168.56.21 -uroot -poracle -d mydb1 --start-file mysql-bin.000066

DELETE FROM `mydb1`.`tb01` WHERE `id`=100 AND `name`='delete_test' LIMIT 1; #start 4 end 296 time 2017-05-09 02:35:08