MySQL主从数据一致性检验

检查主从数据一致性，我们使用pt-table-checksum ，pt-table-checksum是percona-tools一个工具，用来校验主从库数据是不是一致。

作为一个MySQL DBA 这个包里percona-tools的工具，建议大家都学习一下。

一、安装percona-tools工具

# wget https://www.percona.com/downloads/percona-toolkit/3.0.6/binary/redhat/7/x86_64/percona-toolkit-3.0.6-1.el7.x86_64.rpm

# yum localinstall percona-toolkit-3.0.6-1.el7.x86_64.rpm

二、pt-table-checksum使用说明

1.参数介绍

--replicate=db1.checksum: 表示把结果存放到db1.checksum表中，默认是在percona.checksum表中。

--recursion-method="processlist": 表示以什么方式发现从库。我们这里使用 processlist方式。这种方式要求主库和从库端口必须相同。如果不相同，只能使用DSN方式。

--databases=dbname ：表示校验指定库，不验证其他库。如果是所有库，可以不加这个参数就可以。如果要验证多个库，可以用逗号分隔，例如--databases=db1,db2,db3

--tables=tbname: 表示检验指定的表。

--nocheck-binlog-format ：不让命令检测binlog 格式，使用这个命令的时候，使用的账号和密码也必须可以从主库登录从库才可以。否则就报无法连接从库的错误。Cannot connect to P=3306,h=dev-hd-node3,p=...,u=root

--replicate-check-only ：表示只显示不一致的信息。一致信息就不显示了。只要有显示表示出现了不一致。

2.输出内容介绍

TS：完成检查的时间。

ERRORS：检查时候发生错误和警告的数量。

DIFFS：0表示一致，1表示不一致。当指定--no-replicate-check时，会一直为0，当指定--replicate-check-only会显示不同的信息。

ROWS：被检查表的行数

CHUNKS：被划分到表中的块的数目。

SKIPPED：由于错误或警告或过大，则跳过块的数目。

TIME：执行的时间。

TABLE：被检查的表名。

3.检测指定库

# pt-table-checksum --nocheck-binlog-format --replicate=db1.checksum -h localhost -P3306 -u root -p unixfbi --databases=db1 --recursion-method="processlist"

Checking if all tables can be checksummed ...

Starting checksum ...

Cannot connect to P=3306,h=dev-hd-node3,p=...,u=root

Diffs cannot be detected because no slaves were found.  Please read the --recursion-method documentation for information.

            TS ERRORS  DIFFS     ROWS  CHUNKS SKIPPED    TIME TABLE

01-26T16:08:00      0      0       44       1       0   0.005 db1.tb1

01-26T16:08:00      0      0       13       1       0   0.004 db1.tb2

4.忽略某些库的检测

使用 --ignore-databases参数，例如忽略mysql库的检测。

# pt-table-checksum --nocheck-binlog-format  -h localhost -P3306 -u root -p unixfbi --ignore-databases=mysql --recursion-method="processlist"

Checking if all tables can be checksummed ...

Starting checksum ...

            TS ERRORS  DIFFS     ROWS  CHUNKS SKIPPED    TIME TABLE

01-26T16:26:16      0      1       30       1       0   0.013 db1.checksum

01-26T16:26:16      0      0       44       1       0   0.013 db1.tb1

01-26T16:26:16      0      0       13       1       0   0.012 db1.tb2

01-26T16:26:16      0      0        1       1       0   0.012 db2.tb3

01-26T16:26:16      0      0        1       1       0   0.012 db2.tb4

01-26T16:26:16      0      0        6       1       0   0.013 sys.sys_config

01-26T16:26:16      0      0        2       1       0   0.013 wbx3306.t1

01-26T16:26:16      0      0        0       1       0   0.013 wbx3306.tp_1

5.只显示不一致内容

# pt-table-checksum --nocheck-binlog-format  -h localhost -P3306 -u root -p unixfbi --ignore-databases=mysql --recursion-method="processlist" --replicate-check-only

Checking if all tables can be checksummed ...

Starting checksum ...

Differences on dev-hd-node3

TABLE CHUNK CNT_DIFF CRC_DIFF CHUNK_INDEX LOWER_BOUNDARY UPPER_BOUNDARY

db1.checksum 1 0 1

6.检测指定表

--databases=dbname --tables=tbname 需要用到这两个参数

# pt-table-checksum --nocheck-binlog-format  -h localhost -P3306 -u root -p unixfbi --databases=db1 --tables=checksum --recursion-method="processlist" --replicate-check-only

Checking if all tables can be checksummed ...

Starting checksum ...

Differences on dev-hd-node3

TABLE CHUNK CNT_DIFF CRC_DIFF CHUNK_INDEX LOWER_BOUNDARY UPPER_BOUNDARY

db1.checksum 1 0 1

7.分段检测

工作中一个表里可能有几百万甚至几千万条数据，如果对这样的表进行一致性检测的话，花费的时间会很长。所以我们可以对表进行分段检测，例如检测前1000行数据，或者5000行到10000行之间的数据。

其实我们这里是使用的 --where参数；

# pt-table-checksum --nocheck-binlog-format  -h localhost -P3306 -u root -p unixfbi --databases=db1 --tables=checksum --recursion-method="processlist" --replicate-check-only --where="id < 20"

参考文档

https://www.percona.com/software/database-tools/percona-toolkit

https://www.percona.com/doc/percona-toolkit/LATEST/index.html

http://blog.itpub.net/12679300/viewspace-1454837/

本文出自 “运维特工” 博客，转载请务必保留原文链接和 http://www.unixfbi.com