GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。
GreatSQL是MySQL的国产分支版本，使用上与MySQL一致。

my2sql工具之快速入门

1.什么是my2sql
2.如何快速部署my2sql工具
3.如何使用my2sql工具
- 3.1使用my2sql工具解析binglog文件
- 3.2使用my2sql工具快速闪回
4.遇到的问题
5.使用限制
6.总结

1. 什么是my2sql？

my2sql是go版MySQL binlog解析工具，通过解析MySQL binlog ，可以生成原始SQL、回滚SQL、去除主键的INSERT SQL等，也可以生成DML统计信息。类似工具有binlog2sql、MyFlash、my2fback等，本工具基于my2fback、binlog_rollback工具二次开发而来。

2. 如何快速部署my2sql工具

方式一 go编译

git clone https://github.com/liuhr/my2sql.git

cd my2sql/

go build .

方式二已编译好的二进制文件

二进制文件下载地址

https://github.com/liuhr/my2sql/blob/master/releases/centOS_release_7.x/my2sql

复制到我的docker中

#1、把my2sql 二进制文件复制到mysql8的容器中

 docker cp /usr/local/bin/my2sql  mysql8:/usr/local/bin

#2、进入容器

docker exec -it mysql8  bash

chmod +x /usr/local/bin/my2sql

3. 如何使用my2sql工具

3.1 使用my2sql工具解析binglog文件

step1：查询binglog文件

mysql> show variables like 'binlog_format';

+---------------+-------+

| Variable_name | Value |

+---------------+-------+

| binlog_format | ROW   |

+---------------+-------+

1 row in set (0.00 sec)

mysql> show master status;

+----------+----------+--------------+------------------+--------------------------------------------+

| File     | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set                            |

+----------+----------+--------------+------------------+----------------------------------------------+

| 1.000001 |     1021 |              |                  | ecd66956-f106-11ec-bb85-0242ac110005:1-19718 |

+----------+----------+--------------+------------------+----------------------------------------------+

1 row in set (0.00 sec)

mysql> flush logs;

Query OK, 0 rows affected (0.71 sec)

mysql> show master status;

+----------+----------+--------------+------------------+----------------------------------------------+

| File     | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set                            |

+----------+----------+--------------+------------------+----------------------------------------------+

| 1.000002 |      193 |              |                  | ecd66956-f106-11ec-bb85-0242ac110005:1-19718 |

+----------+----------+--------------+------------------+----------------------------------------------+

1 row in set (0.00 sec)

mysql> show variables like 'innodb_log_group_home_dir';

+---------------------------+-------+

| Variable_name             | Value |

+---------------------------+-------+

| innodb_log_group_home_dir | ./    |

+---------------------------+-------+

1 row in set (0.01 sec)

mysql> show variables like '%datadir%';

+---------------+-----------------+

| Variable_name | Value           |

+---------------+-----------------+

| datadir       | /var/lib/mysql/ |

+---------------+-----------------+

1 row in set (0.00 sec)

step2：查询测试表：

-- 查看测试表结构

mysql> show create table sbtest.sbtest1\G;

*************************** 1. row ***************************

       Table: sbtest1

Create Table: CREATE TABLE `sbtest1` (

  `id` int NOT NULL AUTO_INCREMENT,

  `k` int NOT NULL DEFAULT '0',

  `c` char(120) COLLATE utf8mb4_0900_bin NOT NULL DEFAULT '',

  `pad` char(60) COLLATE utf8mb4_0900_bin NOT NULL DEFAULT '',

  PRIMARY KEY (`id`),

  KEY `k_1` (`k`)

) ENGINE=InnoDB AUTO_INCREMENT=100001 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_bin

1 row in set (0.00 sec)

--查看测试表行数

mysql> select count(*) from sbtest.sbtest1;

+----------+

| count(*) |

+----------+

|   100000 |

+----------+

1 row in set (0.00 sec)

--查看测试表的检验值

mysql> checksum table sbtest.sbtest1;

+----------------+------------+

| Table          | Checksum   |

+----------------+------------+

| sbtest.sbtest1 | 4167997150 |

+----------------+------------+

1 row in set (0.09 sec)

-- 删除5万行数据

mysql> delete from sbtest.sbtest1 where id<50000; 【这里删除了49999行数据】

Query OK, 49999 rows affected (7.72 sec)

--再次看测试表的检验值

mysql> checksum table sbtest.sbtest1;

+----------------+------------+

| Table          | Checksum   |

+----------------+------------+

| sbtest.sbtest1 | 1629663751 |

+----------------+------------+

1 row in set (0.04 sec)

step3：解析binglog文件

#解析binglog文件

root@29b86217f7d4:/tmp# my2sql  -user root -password ****** -host 127.0.0.1 -port 3306 -databases sbtest -tables sbtest1 -mode repl -work-type 2sql -start-file 1.000002 -output-dir /tmp

[2022/07/28 10:26:42] [info] binlogsyncer.go:144 create BinlogSyncer with config {1113306 mysql 127.0.0.1 3306 root   utf8 false false <nil> false UTC false 0 0s 0s 0 false false 0}

[2022/07/28 10:26:42] [info] events.go:60 start thread 1 to generate redo/rollback sql

[2022/07/28 10:26:42] [info] binlogsyncer.go:360 begin to sync binlog from position (1.000002, 4)

[2022/07/28 10:26:42] [info] stats_process.go:166 start thread to analyze statistics from binlog

[2022/07/28 10:26:42] [info] events.go:210 start thread to write redo/rollback sql into file

[2022/07/28 10:26:42] [info] events.go:60 start thread 2 to generate redo/rollback sql

[2022/07/28 10:26:42] [info] repl.go:16 start to get binlog from mysql

[2022/07/28 10:26:42] [info] binlogsyncer.go:777 rotate to (1.000002, 4)

[2022/07/28 10:26:50] [info] repl.go:84 deadline exceeded.

[2022/07/28 10:26:50] [info] repl.go:18 finish getting binlog from mysql

[2022/07/28 10:26:50] [info] stats_process.go:266 exit thread to analyze statistics from binlog

[2022/07/28 10:26:50] [info] events.go:185 exit thread 1 to generate redo/rollback sql

[2022/07/28 10:26:50] [info] events.go:185 exit thread 2 to generate redo/rollback sql

[2022/07/28 10:26:50] [info] events.go:274 finish writing redo/forward sql into file

[2022/07/28 10:26:50] [info] events.go:277 exit thread to write redo/rollback sql into file

root@29b86217f7d4:/tmp# ls -lrt

total 2392

-rw-r--r-- 1 root root     261 Jul 28 10:26 biglong_trx.txt

-rw-r--r-- 1 root root 2438845 Jul 28 10:26 forward.2.sql

-rw-r--r-- 1 root root     288 Jul 28 10:26 binlog_status.txt

step4：查看解析后的sql：

--文件binlog_status.txt和biglong_trx.txt是事务的统计信息

root@29b86217f7d4:/tmp# cat binlog_status.txt

binlog            starttime           stoptime            startpos   stoppos    inserts  updates  deletes  database        table

1.000002          2022-07-28_10:24:06 2022-07-28_10:24:06 341        9536267    0        0        49999    sbtest          sbtest1

root@29b86217f7d4:/tmp# cat biglong_trx.txt

binlog            starttime           stoptime            startpos   stoppos    rows     duration   tables

1.000002          2022-07-28_10:24:06 2022-07-28_10:24:06 269        9536294    49999    0          [sbtest.sbtest1(inserts=0, updates=0, deletes=49999)]

--文件forward.2.sql是binlog解析之后的sql

root@29b86217f7d4:/tmp#  more -10 forward.2.sql

DELETE FROM `sbtest`.`sbtest1` WHERE `id`=1;

DELETE FROM `sbtest`.`sbtest1` WHERE `id`=2;

DELETE FROM `sbtest`.`sbtest1` WHERE `id`=3;

DELETE FROM `sbtest`.`sbtest1` WHERE `id`=4;

DELETE FROM `sbtest`.`sbtest1` WHERE `id`=5;

DELETE FROM `sbtest`.`sbtest1` WHERE `id`=6;

DELETE FROM `sbtest`.`sbtest1` WHERE `id`=7;

DELETE FROM `sbtest`.`sbtest1` WHERE `id`=8;

DELETE FROM `sbtest`.`sbtest1` WHERE `id`=9;

DELETE FROM `sbtest`.`sbtest1` WHERE `id`=10;

--More--(0%)

3.2 使用my2sql工具快速闪回

step1：生成闪回sql文件

root@29b86217f7d4:/tmp# my2sql  -user root -password ****** -host 127.0.0.1 -port 3306 -databases sbtest -tables sbtest1 -mode repl -work-type rollback   -start-file 1.000002  -output-dir /tmp/flashback/

[2022/07/28 10:42:55] [info] events.go:60 start thread 1 to generate redo/rollback sql

[2022/07/28 10:42:55] [info] events.go:210 start thread to write redo/rollback sql into file

[2022/07/28 10:42:55] [info] binlogsyncer.go:144 create BinlogSyncer with config {1113306 mysql 127.0.0.1 3306 root   utf8 false false <nil> false UTC false 0 0s 0s 0 false false 0}

[2022/07/28 10:42:55] [info] events.go:60 start thread 2 to generate redo/rollback sql

[2022/07/28 10:42:55] [info] stats_process.go:166 start thread to analyze statistics from binlog

[2022/07/28 10:42:55] [info] binlogsyncer.go:360 begin to sync binlog from position (1.000002, 4)

[2022/07/28 10:42:55] [info] repl.go:16 start to get binlog from mysql

[2022/07/28 10:42:55] [info] binlogsyncer.go:777 rotate to (1.000002, 4)

[2022/07/28 10:43:00] [info] repl.go:84 deadline exceeded.

[2022/07/28 10:43:00] [info] repl.go:18 finish getting binlog from mysql

[2022/07/28 10:43:00] [info] stats_process.go:266 exit thread to analyze statistics from binlog

[2022/07/28 10:43:00] [info] events.go:185 exit thread 1 to generate redo/rollback sql

[2022/07/28 10:43:00] [info] events.go:185 exit thread 2 to generate redo/rollback sql

[2022/07/28 10:43:00] [info] events.go:259 finish writing rollback sql into tmp files, start to revert content order of tmp files

[2022/07/28 10:43:00] [info] rollback_process.go:15 start thread 1 to revert rollback sql files

[2022/07/28 10:43:00] [info] rollback_process.go:41 start to revert tmp file /tmp/flashback/.rollback.2.sql into /tmp/flashback/rollback.2.sql

[2022/07/28 10:43:00] [info] rollback_process.go:156 finish reverting tmp file /tmp/flashback/.rollback.2.sql into /tmp/flashback/rollback.2.sql

[2022/07/28 10:43:00] [info] rollback_process.go:25 exit thread 1 to revert rollback sql files

[2022/07/28 10:43:00] [info] events.go:272 finish reverting content order of tmp files

[2022/07/28 10:43:00] [info] events.go:277 exit thread to write redo/rollback sql into file

step2：查看生成的闪回文件：

root@29b86217f7d4:/tmp/flashback# ls -lrt

total 12596

-rw-r--r-- 1 root root      261 Jul 28 10:42 biglong_trx.txt

-rw-r--r-- 1 root root      288 Jul 28 10:43 binlog_status.txt

-rw-r--r-- 1 root root 12888636 Jul 28 10:43 rollback.2.sql

root@29b86217f7d4:/tmp/flashback# cat  biglong_trx.txt

binlog            starttime           stoptime            startpos   stoppos    rows     duration   tables

1.000002          2022-07-28_10:24:06 2022-07-28_10:24:06 269        9536294    49999    0          [sbtest.sbtest1(inserts=0, updates=0, deletes=49999)]

root@29b86217f7d4:/tmp/flashback# cat binlog_status.txt

binlog            starttime           stoptime            startpos   stoppos    inserts  updates  deletes  database        table

1.000002          2022-07-28_10:24:06 2022-07-28_10:24:06 341        9536267    0        0        49999    sbtest          sbtest1

root@29b86217f7d4:/tmp/flashback# more -10 rollback.2.sql

INSERT INTO `sbtest`.`sbtest1` (`id`,`k`,`c`,`pad`) VALUES (49999,33022,'82276829554-28600016482-71437056503-67189283057-49828408020-97469013057-54486869404-00631592142

-97314346455-10619483378','14496218158-82953408254-72982060504-31493955809-57788873512');

INSERT INTO `sbtest`.`sbtest1` (`id`,`k`,`c`,`pad`) VALUES (49998,50244,'96937339387-30971064351-79066739653-24906328840-02614118448-07131634761-96921531810-30574594369

-22852947139-53163560618','11061918782-99235282357-54725926348-09882016546-43656283296');

INSERT INTO `sbtest`.`sbtest1` (`id`,`k`,`c`,`pad`) VALUES (49997,49958,'23875561992-79383179714-31844019265-78678195929-11039506986-44432953782-19018620372-45679869851

-21838821757-54316746647','72021998255-21544610411-49097617755-83325624702-67496909817');

INSERT INTO `sbtest`.`sbtest1` (`id`,`k`,`c`,`pad`) VALUES (49996,49784,'64121185719-74243968401-44193775190-53796401184-56297492349-79981936074-03057285270-03714583251

-22209198873-10937378934','77159337465-83656217977-70877234699-71552982384-42185635425');

INSERT INTO `sbtest`.`sbtest1` (`id`,`k`,`c`,`pad`) VALUES (49995,49750,'32364537835-96169411677-52025383891-99856461851-54876781624-38035712955-18254695168-34412213489

-24174915574-41228645716','40846762001-49118260546-21871620253-63339659850-56585169893');

--More--(0%)

step3：应用rollback文件进行数据恢复

mysql -uroot -p****** -P3306 -h127.0.0.1 sbtest < /tmp/flashback/rollback.2.sql

step4：最后检查恢复情况

mysql> select count(*) from sbtest.sbtest1;

+----------+

| count(*) |

+----------+

|   100000 |

+----------+

1 row in set (0.01 sec)

mysql> checksum table sbtest.sbtest1;

+----------------+------------+

| Table          | Checksum   |

+----------------+------------+

| sbtest.sbtest1 | 4167997150 |

+----------------+------------+

1 row in set (0.08 sec)

4. 遇到的问题

问题1：Connect mysql failed this authentication plugin is not supported

my2sql  -user greatsql -password ****** -host 127.0.0.1 -port 3306  -mode repl -work-type 2sql -start-file binlog.000001

[2022/07/28 10:00:01] [fatal] context.go:575 Connect mysql failed this authentication plugin is not supported

解决

#修改

ALTER USER 'username'@'localhost' IDENTIFIED WITH mysql_native_password BY 'password';

FLUSH PRIVILEGES;

问题2：Connect mysql failed this user requires mysql native password authentication.

my2sql  -user greatsql  -password ****** 127.0.0.1 -port 3306 -mode repl -work-type 2sql -start-file binlog.000001

[2022/07/28 09:35:08] [fatal] context.go:575 Connect mysql failed this user requires mysql native password authentication.

解决

#mysql配置文件中增加以下配置项并重启

default_authentication_plugin=mysql_native_password

5. 使用限制

使用回滚/闪回功能时，binlog格式必须为row,且binlog_row_image=full， DML统计以及大事务分析不受影响。
只能回滚DML，不能回滚DDL。
支持指定-tl时区来解释binlog中time/datetime字段的内容。开始时间-start-datetime与结束时间-stop-datetime也会使用此指定的时区，但注意此开始与结束时间针对的是binlog event header中保存的unix timestamp。结果中的额外的datetime时间信息都是binlog event header中的unix timestamp。
此工具是伪装成从库拉取binlog，需要连接数据库的用户有SELECT, REPLICATION SLAVE, REPLICATION CLIENT权限。
MySQL8.0版本需要在配置文件中加入default_authentication_plugin =mysql_native_password，用户密码认证必须是mysql_native_password才能解析。

6.总结

my2sql除了可以用来做binlog的解析、闪回，还提供主从切换后新master丢数据的修复、大事务和长事务的分析、主从延迟分析等，后面有空继续分享my2sql在事务方面的应用，大家也可以自己动手实践一下。

参考文档

https://github.com/liuhr/my2sql/blob/master/README.md

Enjoy GreatSQL

文章推荐：

有趣的SQL DIGEST

ulimits不生效导致数据库启动失败和相关设置说明

 MGR及GreatSQL资源汇总

GreatSQL MGR FAQ

在Linux下源码编译安装GreatSQL/MySQL

关于 GreatSQL

GreatSQL是由万里数据库维护的MySQL分支，专注于提升MGR可靠性及性能，支持InnoDB并行查询特性，是适用于金融级应用的MySQL分支版本。

Gitee:

https://gitee.com/GreatSQL/GreatSQL

GitHub:

https://github.com/GreatSQL/GreatSQL

Bilibili：

https://space.bilibili.com/1363850082/favlist

技术交流群：

微信：扫码添加GreatSQL社区助手微信好友，发送验证信息加群。

my2sql工具之快速入门的更多相关文章

【荐】PHP采集工具curl快速入门教程
为什么要用CURL? CURL(Client URL Library Functions)是一个利用URL语法在命令行方式下工作的文件传输工具.它支持很多协议:FTP, FTPS, HTTP, HTT ...
前端打包构建工具gulp快速入门
因为之前一直有人给我推荐gulp,说他这里好哪里好的.实际上对我来说够用就行.grunt熟悉以后实际上他的配置也不难,说到效率的话确实是个问题,尤其项目大了以后,目前位置遇到的项目都还可以忍受.不过不 ...
前端打包构建工具grunt快速入门（大篇幅完整版）
打包的目的和意义就不用叙述了直接上干货 http://www.gruntjs.net/getting-started里面的教程也太简单了,需要下一番功夫去研究才行.本文将grunt打包的常用方法都用实 ...
Web Api 入门实战（快速入门+工具使用+不依赖IIS）
平台之大势何人能挡? 带着你的Net飞奔吧!:http://www.cnblogs.com/dunitian/p/4822808.html 屁话我也就不多说了,什么简介的也省了,直接简单概括+demo ...
MyBatis-Plus工具快速入门
MyBatis-Plus官方文档:http://mp.baomidou.com/#/quick-starthttp://mp.baomidou.com/guide/#%E7%89%B9%E6%80%A ...
版本控制工具Git工具快速入门-Linux篇
版本控制工具Git工具快速入门-Linux篇作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.版本管理系统的介绍 1>.版本管理系统的特点 1.1>.自动生成备份: ...
版本控制工具Git工具快速入门-Windows篇
版本控制工具Git工具快速入门-Windows篇作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 最近在学习Golang语言,之前的开发环境在linux上开发的,后来由于办公用的是w ...
[易学易懂系列|rustlang语言|零基础|快速入门|（28）|实战5：实现BTC价格转换工具]
[易学易懂系列|rustlang语言|零基础|快速入门|(28)|实战5:实现BTC价格转换工具] 项目实战实战5:实现BTC价格转换工具今天我们来开发一个简单的BTC实时价格转换工具. 我们首先 ...
[易学易懂系列|rustlang语言|零基础|快速入门|（25）|实战2：命令行工具minigrep（2）]
[易学易懂系列|rustlang语言|零基础|快速入门|(25)|实战2:命令行工具minigrep(2)] 项目实战实战2:命令行工具minigrep 我们继续开发我们的minigrep. 我们现 ...

随机推荐

从单例谈double-check必要性，多种单例各取所需
theme: fancy 前言前面铺掉了那么多都是在讲原则,讲图例.很多同学可能都觉得和设计模式不是很搭边.虽说设计模式也是理论的东西,但是设计原则可能对我们理解而言更加的抽象.不过好在原则东西不是 ...
10个常见触发IO瓶颈的高频业务场景
摘要:本文从应用业务优化角度,以常见触发IO慢的业务SQL场景为例,指导如何通过优化业务去提升IO效率和降低IO. 本文分享自华为云社区<GaussDB(DWS)性能优化之业务降IO优化> ...
实现领域驱动设计 - 使用ABP框架 - 解决方案概览
.NET解决方案的分层下图显示了使用ABP的应用启动模板创建的Visual Studio解决方案: 解决方案名称为问题跟踪,它由多个项目组成.通过考虑DDD原则以及开发和部署实践,该解决方案是分 ...
Obsidian基础教程
Obsidian基础教程相关链接 2021年新教程 - Obsidian中文教程 - Obsidian Publish 软通达基础设置篇 1. 开启实时预览开启实时预览模式,所见即所得打开设置 ...
RPA 抖音机器人汇总
一.RPA 抖音小店催好评机器人 RPA机器人详情: 1.配置好抖音小店订单号与催好评话术 2.启动抖音小店催好评机器人 3.机器人打开飞鸽客服软件 4.自动搜索订单号,自动发送催好评内容 5.机器人 ...
sql-删除重复数据-oracle
删除重复数据准备重复数据 create table mystudent ( stuno number , stuname varchar2(20), stuage number ); insert ...
vim插件的社区活跃度怎么样
www.vim.org -> Scripts -> Browse all可以看到有5051个插件.搜索Nerd可以看到NerdTree插件,它的评分是Rating 7882/2514, D ...
centos系统管理高级篇
1 enable virtual box 控制 - 关机可以通过虚拟机的关机按钮执行关机,而不是登陆centos再执行init 0 首先,安装acpid包如果你的centos已经安装这个包,就省略 ...
活动报名：以「数」制「疫」，解密 Tapdata 在张家港市卫健委数字化防疫场景下的最佳实践
疫情两年有余,全国抗疫攻防战步履不停.在"动态清零"总方针的指导下,国内疫情防控工作渐趋规范化.常态化.健康码.行程卡.疫情地图.电子哨兵.核酸码.场所码--各类精准防疫手 ...
CADisplayLink、NSTimer循环引用解决方案
前言:CADisplayLink.NSTimer 循环引用问题 CADisplayLink.NSTimer会对Target产生强引用,如果target又对他们产生强引用,那么就会引发循环引用. @ ...

my2sql工具之快速入门

my2sql工具之快速入门

1. 什么是my2sql？

2. 如何快速部署my2sql工具

方式一 go编译

方式二 已编译好的二进制文件

3. 如何使用my2sql工具

3.1 使用my2sql工具解析binglog文件

step1：查询binglog文件

step2：查询测试表：

step3：解析binglog文件

step4：查看解析后的sql：

3.2 使用my2sql工具快速闪回

step1：生成闪回sql文件

step2：查看生成的闪回文件：

step3：应用rollback文件进行数据恢复

step4：最后检查恢复情况

4. 遇到的问题

问题1：Connect mysql failed this authentication plugin is not supported

问题2：Connect mysql failed this user requires mysql native password authentication.

5. 使用限制

6.总结

参考文档

文章推荐：

关于 GreatSQL

my2sql工具之快速入门的更多相关文章

随机推荐

热门专题

方式二已编译好的二进制文件