使用mysqldump备份时为什么要加上 -q 参数(5.7默认为on)
使用mysqldump备份时为什么要加上 -q 参数(5.7默认为on)
写在前面:我们在使用mysqldump备份数据时,请一定记住要加上 -q 参数,后果可能是很严重的,不要给自己挖坑哦。
先来看看 mysqldump -help 中,关于 -q 参数的解释:
-q, --quick Don't buffer query, dump directly to stdout.
简言之,就是说加上 -q 后,不会把SELECT出来的结果放在buffer中,而是直接dump到标准输出中,顶多只是buffer当前行结果,正常情况下是不会超过 max_allowed_packet 限制的,它默认情况下是开启的。
如果关闭该参数,则会把SELECT出来的结果放在本地buffer中,然后再输出给客户端,会消耗更多内存。
在mysqldump.c中也能看到二者的对比(现在流行深入源码,虽然我不是专注开发的,找几行源码能力还尚存,用来装B的,大家知道就好,哈哈):
if (quick)
res=mysql_use_result(sock);
else
res=mysql_store_result(sock);
有理论,也要有实践不是,我们来看看在实际场景中,加不加 -q 的区别有多大。
部分备份(启用-q) | 部分备份(禁用-q) | 完整备份(启用-q) | 完整备份(禁用-q) | |
备份总耗时 | 27.882秒 | 22.665秒 | 277.387秒 | 217.074秒 |
占用内存(含swap) | 3056KB | 2.5GB | 3048KB | 内存:12GBswap:305MB |
可以看到,如果只是备份小量数据,足以放在空闲内存buffer中的话,禁用 -q 会快一些,但如果是大数据集,没办法完全hold在内存buffer中时,就会产生swap,效率反而更差,真是赔了夫人又折兵。
因此,如果使用mysqldump来备份数据时,建议总是加上 -q 参数,避免发生swap反而影响备份效率。
详细过程(有耐心的可以继续往下看)
1、全量备份:备份时不使用 -q 参数
mysqldump --quick=false -Smysql.sock -B yejr --tables t_yejr #先看下一开始时的状态:
Mem: 32863040k total, 29338704k used, 3524336k free, 227632k buffers
Swap: 16777208k total, 23548k used, 16753660k free, 8200416k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
21986 root 20 0 6119m 5.9g 2192 S 20.6 18.9 0:21.69 mysqldump #再看下备份结束后的状态,内存不够用,产生了swap
Mem: 32863040k total, 32521328k used, 341712k free, 440k buffers
Swap: 16777208k total, 336876k used, 16440332k free, 315192k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
21986 root 20 0 12.3g 12g 656 R 100.0 39.1 2:23.93 mysqldump #最后看下备份总耗时
real 4m37.387s
user 2m2.731s
sys 0m24.608s
2、全量备份:备份时启用 -q 参数
mysqldump -Smysql.sock -B yejr --tables t_yejr #先看下一开始时的状态:
Mem: 32863040k total, 20157476k used, 12705564k free, 4608k buffers
Swap: 16777208k total, 0k used, 16777208k free, 488296k cached #再看下备份结束后,可以看到,没有使用到swap
Mem: 32863040k total, 32644496k used, 218544k free, 920k buffers
Swap: 16777208k total, 0k used, 16777208k free, 12618740k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
25234 root 20 0 50880 3048 2192 S 57.6 0.0 2:22.79 mysqldump #最后看下总耗时统计:
real 3m37.074s
user 2m6.018s
sys 0m17.315s
3、部分备份:备份时不使用 -q 参数
mysqldump -w " id<100000 " -Smysql.sock --quick=false -Smysql.sock -B yejr --tables t_yejr #看下总耗时
real 0m22.665s
user 0m20.458s
sys 0m2.156s #再看下mysqldump进程消耗的内存,最高时大概使用了2.5G内存
20619 root 20 0 2571m 2.5g 2208 R 99.9 7.8 0:11.63 mysqldump
4、部分备份:备份时启用 -q 参数
mysqldump -w " id<100000 " -Smysql.sock -Smysql.sock -B yejr --tables t_yejr #看下总耗时,并没有慢多少
real 0m27.882s
user 0m22.610s
sys 0m0.670s #再看下mysqldump进程消耗的内存,只占用了极少量内存
19690 root 20 0 50880 3056 2200 S 73.4 0.0 0:06.01 mysqldump
使用mysqldump备份时为什么要加上 -q 参数(5.7默认为on)的更多相关文章
- mysqldump备份时保持数据一致性
对MySQL数据进行备份,常见的方式如以下三种,可能有很多人对备份时数据一致性并不清楚 1.直接拷贝整个数据目录下的所有文件到新的机器.优点是简单.快速,只需要拷贝:缺点也很明显,在整个备份过程中新机 ...
- mysqldump备份时,--master-data选项的作用是什么?
需求描述: 今天在研究mysql的备份和恢复,使用mysqldump备份数据库时,用到--master-data选项, 在此,测试并记录选项的作用 测试过程: 1.不使用--master-data进行 ...
- 使用 mysqldump 备份时的一些参数
因为还没有用到 ThinkPHP 的迁移组件,暂时使用 mysqldump 来备份,并版本控制. 有几个参数需要用到. --skip-dump-date 不要完成时间. --skip-extended ...
- mysqldump备份原理6
写在前面:我们在使用mysqldump备份数据时,请一定记住要加上 -q 参数,后果可能是很严重的,不要给自己挖坑哦.到底为什么呢,且听我慢慢道来! 先来看看 mysqldump –help 中,关于 ...
- Mysqldump备份说明及数据库备份脚本分享-运维笔记
MySQLdump是MySQL自带的导出数据工具,即mysql数据库中备份工具,用于将MySQL服务器中的数据库以标准的sql语言的方式导出,并保存到文件中.Mysqldump是一个客户端逻辑备份的工 ...
- mysqldump 备份命令使用中的一些经验总结
mysqldump的一个小坑(自测) 正文:经常使用接触mysql复制功能的朋友应该对mysqldump命令不陌生吧,鄙人最近也在研究学习这一块的内容,经过几天的测试,发现mysqldump使用中容易 ...
- gradle中gredle -q 参数是什么意思
很多地方在调用 gradle 命令时都加了 -q 参数.该参数用来控制 gradle 的日志级别,可以保证只输出我们需要的内容.
- mysqldump备份数据库时出现when using LOCK TABLES
用mysqldump备份数据库时,如果出现when using LOCK TABLES,解决办法是加上 --skip-lock-tables 例如: 用mysqldump备份数据库时出现 29: Fi ...
- 在给mysql数据库备份时,报错: mysqldump: Got error: 145: Table '.\shengdaxcom\pre_forum_thread' is marked as c rashed and should be repaired when using LOCK TABLES
在给mysql数据库备份时,报错: mysqldump: Got error: 145: Table '.\shengdaxcom\pre_forum_thread' is marked as cra ...
随机推荐
- DROP TABLE 恢复【一】
当DROP TABLE指令敲下的时候,你很爽,你有考虑过后果么?如果该表真的没用,你DROP到无所谓,如果还有用的,这时你肯定吓惨了吧,如果你有备份,那么恭喜你,逃过一劫,如果没有备份呢?这时就该绝望 ...
- xtrabackup 详解
xtrabackup是Percona公司CTO Vadim参与开发的一款基于InnoDB的在线热备工具,具有开源,免费,支持在线热备,备份恢复速度快,占用磁盘空间小等特点,并且支持不同情况下的多种备份 ...
- JDBC Oracle sys 用户连接
Class.forName("oracle.jdbc.driver.OracleDriver"); conn = DriverManager.getConnection( &quo ...
- Python高级特性: 12步轻松搞定Python装饰器
12步轻松搞定Python装饰器 通过 Python 装饰器实现DRY(不重复代码)原则: http://python.jobbole.com/84151/ 基本上一开始很难搞定python的装 ...
- 上传文件限制导致413-Request Entity Too Large
在使用Nginx时,在异步上传图片到服务器时,发现抛出“error”错误,仔细发现抛出错误内容为:413-Request Entity Too Large,查看Tomcat运行日志时发现后台没有接收到 ...
- Iframe 父页面自动获取子页面的高度
<iframe id="mainweb" name="mainweb" src="http://www.baidu.com/" bor ...
- #if _MSC_VER > 1000 #pragma once #endif 含义
前提:MFC应用程序中,MainFrm 类头文件 MainFrm.h 中#if _MSC_VER > 1000#pragma once#endif // _MSC_VER > 1000解释 ...
- SSH:Hibernate框架(七种关联关系映射及配置详解)
概念 基本映射是对一个实体进行映射,关联映射就是处理多个实体之间的关系,将关联关系映射到数据库中,所谓的关联关系在对象模型中有一个或多个引用. 分类 关联关系分为上述七种,但是由于相互之间有各种关系, ...
- [日常] Go语言圣经-匿名函数习题
Go语言圣经-匿名函数1.拥有函数名的函数只能在包级语法块中被声明,通过函数字面量(function literal),我们可绕过这一限制,在任何表达式中表示一个函数值2.通过这种方式定义的函数可以访 ...
- LINQ to Objects系列(1)相关技术准备
LINQ to Objects是LINQ的一部分,是查询对象集合的一种语法.首先看一下LINQ的体系结构,这样对LINQ有一个大致的了解.如图. 第一篇文章主要是回顾一下学习LINQ to Objec ...