MySQL下200GB大表备份,利用传输表空间解决停服发版表备份问题
MySQL下200GB大表备份,利用传输表空间解决停服发版表备份问题
问题背景
在停服发版更新时,需对 200GB 大表(约 200 亿行数据)进行快速备份以预防操作失误。
因为曾经出现过有开发写的发版语句里,UPDATE语句的WHERE条件写错了,原本只需要更新几行数据,最终导致更新了半张表的数据。
MySQL版本是MySQL 8.0.X,为了预防这种情况,需要对某个重要的大表进行预先备份,以便可以及时回滚,及时恢复,及时回退,对于备份方法大概有下面几种:
| 方案 | 优点 | 缺点 |
|---|---|---|
mysqldump 导出 |
简单易用 | 大表导出耗时(200GB 可能需数小时) |
CREATE TABLE...SELECT |
直接 SQL 操作 | 数据复制慢,锁表风险高 |
| 表空间 传输 | 秒级备份 ,零数据复制 | 需操作系统权限,依赖文件拷贝 |
| 主从复制/延迟复制 | 无需停服,恢复灵活 | 需主从架构,维护成本高 |
这个场景的核心需求:停服更新的时间非常有限,比如1个小时之内要完成更新。
操作流程
前面两种都比较简单,通过导数据的方法来备份旧表,万一出现问题,可以使用导出来的数据进行快速恢复,第三种方法估计比较少人用,下面是具体操作方法
- 源表与备胎表结构
-- 源表(aa)
CREATE TABLE aa (
id int(11) DEFAULT NULL,
sname VARCHAR(100)
) ENGINE=InnoDB;
-- 备胎表(bb)
CREATE TABLE bb (
id int(11) DEFAULT NULL,
sname VARCHAR(100)
) ENGINE=InnoDB;
greatsql> INSERTINTO aa SELECT1,"nihao";
2、查看两个表的表ID和表空间ID,可以看到aa表的表ID是1081 表空间ID是13,bb表的表ID是1082 表空间ID是14
greatsql> select * from information_schema.innodb_tables where name='school/aa'\G
*************************** 1. row ***************************
TABLE_ID: 1081
NAME: school/aa
FLAG: 33
N_COLS: 6
SPACE: 13
ROW_FORMAT: Dynamic
ZIP_PAGE_SIZE: 0
SPACE_TYPE: Single
INSTANT_COLS: 0
TOTAL_ROW_VERSIONS: 0
1 row in set (0.01 sec)
greatsql> select * from information_schema.innodb_tables where name='school/bb'\G
*************************** 1. row ***************************
TABLE_ID: 1082
NAME: school/bb
FLAG: 33
N_COLS: 6
SPACE: 14
ROW_FORMAT: Dynamic
ZIP_PAGE_SIZE: 0
SPACE_TYPE: Single
INSTANT_COLS: 0
TOTAL_ROW_VERSIONS: 0
1 row in set (0.00 sec)
3、备胎表卸载表空间:
greatsql> ALTER TABLE bb DISCARD TABLESPACE; -- 加锁并生成配置文件
4、源表执行表空间导出:
greatsql> USE school;
greatsql> FLUSH TABLES aa FOR EXPORT;
5、拷贝表空间文件(ibd和cfg文件),然后重新赋予权限,确保导入表空间时候不会出现问题
$ cd /data/mysql/mysql3306/data/school
$ cp aa.ibd bb.ibd
$ cp aa.cfg bb.cfg
$ chown -R mysql:mysql /data/mysql/mysql3306/data/*
6、在相同数据库下,备胎表导入表空间
greatsql> USE school;
greatsql> UNLOCK TABLES;
greatsql> ALTER TABLE bb IMPORT TABLESPACE;
7、查询表数据,验证数据一致性
greatsql> USE school;
greatsql> SELECT * FROM bb;
greatsql> SELECT * FROM aa;
查询表数据正常,没有任何问题
greatsql> SELECT * FROM aa;
+------+-------+
| id | sname |
+------+-------+
| 1 | nihao |
+------+-------+
1 row in set (0.01 sec)
greatsql> SELECT * FROM bb;
+------+-------+
| id | sname |
+------+-------+
| 1 | nihao |
+------+-------+
1 row in set (0.00 sec)
查看表的数据文件,没什么问题
$ ll
total 228
-rw-r----- 1 mysql mysql 114688 Mar 4 16:51 aa.ibd
-rw-r----- 1 mysql mysql 781 Mar 4 16:52 bb.cfg
-rw-r----- 1 mysql mysql 114688 Mar 4 16:52 bb.ibd
8、再次查看两个表的表ID和表空间ID,可以看到aa表的表ID是1081 表空间ID是13(没有变化),bb表的表ID是1083 表空间ID是14(表空间ID已经变了),bb表的表ID变了是防止与现有表冲突
mysql> select * from information_schema.innodb_tables where name='school/aa'\G
*************************** 1. row ***************************
TABLE_ID: 1081
NAME: school/aa
FLAG: 33
N_COLS: 6
SPACE: 13
ROW_FORMAT: Dynamic
ZIP_PAGE_SIZE: 0
SPACE_TYPE: Single
INSTANT_COLS: 0
TOTAL_ROW_VERSIONS: 0
1 row in set (0.00 sec)
mysql> select * from information_schema.innodb_tables where name='school/bb'\G
*************************** 1. row ***************************
TABLE_ID: 1083
NAME: school/bb
FLAG: 33
N_COLS: 6
SPACE: 14
ROW_FORMAT: Dynamic
ZIP_PAGE_SIZE: 0
SPACE_TYPE: Single
INSTANT_COLS: 0
TOTAL_ROW_VERSIONS: 0
1 row in set (0.00 sec)
9、发版更新与回滚
-- 发版操作(示例)
greatsql> UPDATE aa SET sname = 'new_value' WHERE id > 1;
10、如果发版有问题,直接交换表名,最快速度恢复整个表的数据
-- 回滚操作(交换表名)
greatsql> ALTER TABLE aa RENAME TO aa_temp;
greatsql> ALTER TABLE bb RENAME TO aa;
总结
整个操作最重要的是第4步,操作系统级别的拷贝就完成了整个表的备份,相比于数据倒来倒去在速度上要快不少。另外,第5步的备胎表也可以不用导入,只有当发现发版出现问题时候,再导入也可以。
这种方法的关键优势如下
- 直接拷贝 .ibd 文件,无需逐行复制数据。
- 零锁表时间:
FLUSH TABLES tablename FOR EXPORT仅短暂加锁(秒级)。 - 快速恢复:通过表名交换实现秒级回滚。
特别适合于这几种场景:无主从架构的单实例环境、大表快速备份、停服时间敏感。
当然,如果有主从架构的话,则更加推荐使用第四种方法,在操作上也更加可控,短时间也能保证能够完成。

本文版权归作者所有,未经作者同意不得转载。
MySQL下200GB大表备份,利用传输表空间解决停服发版表备份问题的更多相关文章
- 【MySQL】MySQL中针对大数据量常用技术_创建索引+缓存配置+分库分表+子查询优化(转载)
原文地址:http://blog.csdn.net/zwan0518/article/details/11972853 目录(?)[-] 一查询优化 1创建索引 2缓存的配置 3slow_query_ ...
- WebService下实现大数据量的传输
设置RemotingFormat = SerializationFormat.Binary;再序列化,通过WebService传输,客户端接收,再反序列化,确实效果大大的优于直接传送DataSet,不 ...
- mysql innobackupex xtrabackup 大数据量 备份 还原
大数据量备份与还原,始终是个难点.当MYSQL超10G,用mysqldump来导出就比较慢了.在这里推荐xtrabackup,这个工具比mysqldump要快很多. 一.Xtrabackup介绍 1, ...
- mysql innobackupex xtrabackup 大数据量 备份 还原(转)
原文:http://blog.51yip.com/mysql/1650.html 作者:海底苍鹰 大数据量备份与还原,始终是个难点.当MYSQL超10G,用mysqldump来导出就比较慢了.在这里推 ...
- Mysql千万级大表优化
Mysql的单张表的最大数据存储量尚没有定论,一般情况下mysql单表记录超过千万以后性能会变得很差.因此,总结一些相关的Mysql千万级大表的优化策略. 1.优化sql以及索引 1.1优化sql 1 ...
- [20170623]利用传输表空间恢复部分数据.txt
[20170623]利用传输表空间恢复部分数据.txt --//昨天我测试使用传输表空间+dblink,上午补充测试发现表空间设置只读才能执行impdp导入原数据,这个也很好理解.--//这样的操作模 ...
- 如何优化MySQL千万级大表
很好的一篇博客,转载 如何优化MySQL千万级大表 原文链接::https://blog.csdn.net/yangjianrong1985/article/details/102675334 千万级 ...
- 【优化】MySQL千万级大表优化解决方案
问题概述 使用阿里云rds for MySQL数据库(就是MySQL5.6版本),有个用户上网记录表6个月的数据量近2000万,保留最近一年的数据量达到4000万,查询速度极慢,日常卡死.严重影响业务 ...
- 简单实现TCP下的大文件高效传输
简单实现TCP下的大文件高效传输 在TCP下进行大文件传输不象小文件那样直接打包个BUFFER发送出去,因为文件比较大所以不可能把文件读到一个BUFFER发送出去.主要有些文件的大小可能是1G,2G或 ...
- MySQL系统表的利用姿势(浅探)
MySQL数据库文件读写 权限要求: 具备读写权限并且目标文件为可读内容 目标内容具有完整路径且目录可访问 目标内容是否具备文件读写操作权限 查看是否有文件读写权限 show variables li ...
随机推荐
- 创建多线程的方式二:实现Runnable接口
/** * 创建多线程的方式二:实现Runnable接口 * 1. 创建一个实现了Runnable接口的类 * 2. 实现类去实现Runnable中的抽象方法:run() * 3. 创建实现类的对 ...
- 自定义swagger扩展解析jsondoc
需求规定 为了减少注释和swagger注解的重复定义, 通过规范注释, 让swagger可以通过javadoc来产生 替换@Api.@ApiOperation.@ApiModel.@ApiModelP ...
- JavaScript数组(包括上一笔记都是ECMAScript对象),BOM对象,DOM对象,html DOM Enent(事件)
JavaScript数组(包括上一笔记都是ECMAScript对象),BOM对象,DOM对象,html DOM Enent(事件) 1.Arrary; var ret = new Arrary(1,2 ...
- JMeter非GUI模式执行,jtl文件请求与响应数据为空?这里有答案!
JMeter非GUI模式执行,jtl文件请求与响应数据为空?这里有答案! 问题描述 在使用JMeter进行性能测试时,很多用户会选择非GUI(图形用户界面)模式来执行测试,因为这样可以减少客户端的负担 ...
- Q:rdp远程桌面如何传输文件
通过自带的rdp远程连接传输文件 方法: 1.按下win+r键 输入 mstsc.打开远程桌面选择选项如下图 2.选择本地资源选项卡,打开详细信息选项 3.在详细信息选项卡中点开驱动器前面的+号,选择 ...
- [SCOI2016] 幸运数字 题解
\(xor\) 最大值想到线性基,路径想到 \(lca\) 和树链剖分,由于没有修改用 \(lca\) 就可以.先用处理 \(fa\) 数组的方式处理倍增线性基(自然是得用线性基合并的),在求 \(l ...
- PD还是QC?快充协议全解析
什么是快充协议 快充协议是一种通过提高充电效率来缩短设备充电时间的电池充电技术.它是通过在充电器和设备之间建立一种沟通机制,充电器能够根据设备的需求和状态,调整输出的电压和电流.这种沟通机制由快充协议 ...
- Spark - [01] 概述
一.Spark是什么 Spark 是一种基于内存的快速.通用.可扩展的大数据分析引擎. Apache Spark is a unified analytics engine for large-sca ...
- Flink学习(一) 行情介绍
想进大厂,必须掌握 Flink 技术!!! 随着大数据时代的发展.海量数据的实时处理和多样业务的数据计算需求激增,传统的批处理方式和早期的流式处理框架也有自身的局限性,难以在延迟性.吞吐量.容错能力, ...
- Sqoop增量导入注意事项 incremental lastmodified与target-dir连用报错 Imported Failed: Wrong FS
这里引用一篇博客 写的很好 https://blog.csdn.net/C_time/article/details/101109071