my19_mysql 多线程备份恢复工具mydumper
mydumper适合库中有大表且CPU个数较多的场景,多用于恢复从库或单个实例
推荐用法
****************************
mydumper -u automng -p rootroot -h db48 -P 3309 -e -t 10 -r 5000000 -o /data/backup/full_20180928 &
其他示例
*******************************************
全库备份
mydumper -u automng -p Automng_123 -h 127.0.0.1 -P 3306 -o /data/backup/full_20180928 &
全库压缩备份,使用myloader恢复前需要先使用 gunzip 解压
mydumper -u automng -p Automng_123 -h 127.0.0.1 -P 3306 -c -o /data0/backup/full_20180928 &
全库压缩备份,-e 空表也生成一个文件,-t 线程数,若不指定-t则默认会启动四个线程
mydumper -u automng -p rootroot -h db48 -P 3309 -e -c -t 2 -o /data0/backup/full_20180928 &
-F 单个备份文件最大值大小,单位为M
mydumper -u automng -p rootroot -h db48 -P 3309 -e -c -t 10 -F 256 -o /data0/backup/full_20180928 &
-r 单个备份文件最多放300万条数据,个人测试的结果则是如果-r低于500万的话,则实际上是按500万条数据拆分的
mydumper -u automng -p rootroot -h db48 -P 3309 -e -c -t 10 -r 3000000 -o /data0/backup/full_20180928 &
备份指定库,没错,一次只能指定一个库
mydumper -u automng -p rootroot -h db48 -P 3309 -B diandidb -e -t 10 -o /data/backup/full_20180929 &
指定表
mydumper -u automng -p rootroot -h db48 -P 3309 -B vodb -T test -e -t 2 -o /data/backup/full_20180929
mydumper -u automng -p rootroot -h db48 -P 3309 -T vodb.test,diandidb.test -e -t 2 -o /data/backup/full_20180929
压缩比例
mydumper的压缩效果,如果数据高度不重复,比如sysbench生成的数据,则那么压缩比例大概在3:1左右;如果数据重复度高,比如我个人插入了1000万条“有张有驰有分寸+i”(i是从1至1000万的数字),压缩比例为9:1
恢复示例
***************************************
myloader -u automng -p rootroot -h db48 -P 3309 -t 2 -o -d /data/backup/full_20180928 &
mydumper注意事项
**********************************************
在CPU充足的情况下,比如开启10线程时,mydumper的速度要远比mysqldump快;如果可用CPU数低于6的话,还是用mysqldump吧
mydumper可以拆分文件大小,不是所有数据库都写在一个文件中
在主从结构中,mydumper恢复时(不管是全库备份恢复,还是部分表的恢复),从库没有变化,也就是说,从库并没有随着主库的恢复而恢复;注意,注意,此时的主从结构并没有被破坏,还具有主从同步的功能,只是主从数据库不一致了。
所在,在主从结构中,mydumper适合恢复从库,恢复后再次启动slave进程即可。那主库挂了怎么办?切从库
my19_mysql 多线程备份恢复工具mydumper的更多相关文章
- MySQL多线程备份工具:mydumper
MySQL多线程备份工具:mydumper http://www.orczhou.com/index.php/2011/12/how-to-split-mysqldump-file/ Mydumper ...
- MySQL多线程备份工具mydumper
mydumper是一个针对MySQL和Drizzle的高性能多线程的备份和恢复工具.此工具的开发人员分别来自MySQL.Fackbook.SkySQL公司,目前已经有一些大型产品业务测试并使用了该工具 ...
- MySQL数据库之多线程备份工具mydumper
Mydumper介绍: 1)Mydumper是一个针对MySQL和Drizzle的高性能多线程备份和恢复工具 2)特性: 轻量级C语言编写 执行速度比mysqldump快10倍 快速的文件压缩 支持导 ...
- MySQL多线程备份工具mydumper 之 RDS外部实例迁移平台
此文已由作者温正湖授权网易云社区发布. 欢迎访问网易云社区,了解更多网易技术产品运营经验. 1.Format_description_event问题: BINLOG ' kTXkUxMKAAAALQA ...
- mysql多线程备份与还原工具mydumper
(一)mydumper介绍 之前我们已经学过如何使用mysqldump备份恢复数据库:<mysql逻辑备份与还原工具mysqldump>,就目前来说,mysqldump是使用最广泛的MyS ...
- pghoard 面向云存储的pg 备份&&恢复工具
pghoard 面向云存储的pg 备份&&恢复工具 包含的特性 自动定期basebackup 自动事务日志(WAL / Xlog软件)备份(使用pg_receivexlog, arch ...
- python使用多线程备份数据库
前言:在日常服务器运维工作中,备份数据库是必不可少的,刚工作那会看到公司都是用shell脚本循环备份数据库,到现在自己学习python语言后,利用多进程多线程相关技术来实现并行备份数据库,充分利用服务 ...
- MySQL逻辑备份利器-mydumper
关于mydumper的简介和下载请访问:https://launchpad.net/mydumper 简言之,mydumper是多线程逻辑备份,对于表和数据量很大的情况下,建议使用mydumper提高 ...
- Linux常用备份恢复工具
在 Linux 中可以通过各种各样的方法来执行备份.所涉及的技术从非常简单的脚本驱动的方法,到精心设计的商业化软件.备份可以保存到远程网络设备.磁带驱动器和其他可移动媒体上.备份可以是基于文件的或基于 ...
随机推荐
- 分布式锁2 Java非常用技术方案探讨之ZooKeeper 【转载】
前言: 由于在平时的工作中,线上服务器是分布式多台部署的,经常会面临解决分布式场景下数据一致性的问题,那么就要利用分布式锁来解决这些问题.以自己结合实际工作中的一些经验和网上看到的一些资料 ...
- Spring 框架学习 有用
1.1.1 spring的优势 方便解耦,简化开发 通过Spring提供的IoC容器,可以将对象间的依赖关系交由Spring进行控制,避免硬编码所造成的过度程序耦合.用户也不必再为单例模式类.属性文件 ...
- php学习笔记-php中的比较运算符
其中比较难懂的是==和=== ==是只比较两个变量的值,不仅仅是用于比较两个数是否相等,还可以比较int和string,不过会先转化string为int类型再比较,值相等则返回true,值不相等则返回 ...
- GTK编程
一.简介 GTK(GIMP Toolkit)是一套跨多种平台的图形工具包,按LGPL许可协议发布的.虽然最初是为GIMP写的,但早已发展为一个功能强大.设计灵活的通用图形库.特别是被GNOME选中使得 ...
- 100198H Royal Federation
传送门 题目大意 国家有N个城市,任意城市可以到达任意城市,是一棵树.国王要给这些城市分省份.每个省份最少M个城市,最多3M个城市.每个省有一个首府,首府不一定是这个省的城市,只是首府到这个省各个城市 ...
- WebGoat系列实验Denial of Service & Insecure Communication
WebGoat系列实验Denial of Service & Insecure Communication ZipBomb 服务器仅接收ZIP文件,将上传的文件解压,进行操作之后删除.已知服务 ...
- 使用 create 命令建立数据库v, 并利用sp_helpdb查看数据库文件
create database v on primary (name = v, filename='D:\v.mdf', size=3mb, maxsize=10mb, filegrowth=2mb ...
- linq 事务处理
首先引用使名空间: using System.Transactions; 然后写入代码: using (TransactionScope ts = new TransactionScope()) { ...
- Quartz.Net分布式运用
Quartz.Net的集群部署详解 标签(空格分隔): Quartz.Net Job 最近工作上要用Job,公司的job有些不满足个人的使用,于是就想自己搞一个Job站练练手,网上看了一下,发现Qua ...
- .Net Core异步async/await探索
走进.NetCore的异步编程 - 探索 async/await 前言: 这段时间开始用.netcore做公司项目,发现前辈搭的框架通篇运用了异步编程方式,也就是async/await方式,作为一个刚 ...