mydumper原理3

Mydumper介绍

Mydumper是一个针对MySQL和Drizzle的高性能多线程备份和恢复工具。开发人员主要来自MySQL,Facebook,SkySQL公司。目前已经在一些线上使用了Mydumper。

Mydumper主要特性：

• 轻量级C语言写的
• 执行速度比mysqldump快10倍
• 事务性和非事务性表一致的快照(适用于0.2.2以上版本)
• 快速的文件压缩
• 支持导出binlog
• 多线程恢复(适用于0.2.1以上版本)
• 以守护进程的工作方式，定时快照和连续二进制日志(适用于0.5.0以上版本)
• 开源 (GNU GPLv3)

Mydumper安装

 

1 2 3 4 5 6

# yum install glib2-devel mysql-devel zlib-devel pcre-devel # wget http://launchpad.net/mydumper/0.5/0.5.1/+download/mydumper-0.5.1.tar.gz # tar zxvf mydumper-0.5.1.tar.gz -C ../software/ # cmake . # make # make install

mydumper参数介绍：

 

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83

-B, --database 需要备份的库   -T, --tables-list 需要备份的表，用，分隔   -o, --outputdir 输出目录   -s, --statement-size Attempted size of INSERT statement in bytes, default 1000000   -r, --rows 试图分裂成很多行块表   -c, --compress 压缩输出文件   -e, --build-empty-files 即使表没有数据，还是产生一个空文件   -x, --regex 支持正则表达式   -i, --ignore-engines 忽略的存储引擎，用，分隔   -m, --no-schemas 不导出表结构   -k, --no-locks 不执行临时共享读锁 警告：这将导致不一致的备份   -l, --long-query-guard 长查询，默认60s   --kill-long-queries kill掉长时间执行的查询(instead of aborting)   -b, --binlogs 导出binlog   -D, --daemon 启用守护进程模式   -I, --snapshot-interval dump快照间隔时间，默认60s，需要在daemon模式下   -L, --logfile 日志文件   -h, --host   -u, --user   -p, --password   -P, --port   -S, --socket   -t, --threads 使用的线程数，默认4   -C, --compress-protocol 在mysql连接上使用压缩   -V, --version   -v, --verbose 更多输出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2   myloader参数介绍：   -d, --directory 导入备份目录   -q, --queries-per-transaction 每次执行的查询数量, 默认1000   -o, --overwrite-tables 如果表存在删除表   -B, --database 需要还原的库   -e, --enable-binlog 启用二进制恢复数据   -h, --host   -u, --user   -p, --password   -P, --port   -S, --socket   -t, --threads 使用的线程数量，默认4   -C, --compress-protocol 连接上使用压缩   -V, --version   -v, --verbose 更多输出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2   mydumper输出文件：

 

1 2 3 4 5 6 7

metadata:元数据 记录备份开始和结束时间，以及binlog日志文件位置。 table data:每个表一个文件 table schemas:表结构文件 binary logs: 启用--binlogs选项后，二进制文件存放在binlog_snapshot目录下 daemon mode:在这个模式下，有五个目录0，1，binlogs，binlog_snapshot，last_dump。 备份目录是0和1，间隔备份，如果mydumper因某种原因失败而仍然有一个好的快照， 当快照完成后，last_dump指向该备份。

mydumper用例

 

1 2 3 4 5 6 7 8 9 10 11

# mydumper -B ttlsa_com -o /home/data/bak -b # ls binlog_snapshot metadata ttlsa_com.my_area-schema.sql ttlsa_com.my_area.sql # cat metadata Started dump at: 2012-02-20 11:40:21 SHOW MASTER STATUS: Log: mysqld-bin.000001 Pos: 191363 Finished dump at: 2012-02-20 11:40:22 # mydumper -B ttlsa_com -o /home/data/bak -b -D --snapshot-interval=30 # myloader -d /home/data/bak/last_dump -o -B ttlsa_com //还原