mysql通过表空间来恢复或者传递数据
mysql的备份工具通常有 mysqldump ,mysqlpump(5.7后新特性)等备份工具,这里我们可以尝试使用表空间进行传递
方式是:拷贝数据文件+拷贝表空间 对应innodb引擎就是 ibd文件和cfg文件
.cfg: 该文件存储了表的数据字典信息
执行此种方式的要求
(1)需要使用独立表空间,开启innodb_file_per_table参数;
(2)在做表导出时,该表只允许读不允许写;
(3)导入导出的数据data page size必须一样;
(4)在 MySQL 5.7.4 之前的版本是不能对分区表做分区迁移;
(5)使用外键的表,需要使用 set foreign_key_check=0强制忽略外键,否则不支持表空间的导入导出,分布表不支持外键表空间的导入导出;
使用这种的方式的几个限制
源库和目标库版本一致
只适用于 innodb 引擎表
源库执行 flush tables t for export 时,该表会不可写
对于移动一个大表我们来思考一下
使用mysqldump+source的方式:考虑逻辑备份的语句是不是很多,对于一个大表,如果用了很长时间的话,操作频繁,耗时也长 使用select into outfile + load infile 会快一点,但是在生产上主从的环境,要知道主库会将所有的数据当作一个事务执行,只有把数据全部成功插入后,才会将 binlog 复制到从库,
这样会造成从库严重延迟,而且生成的单个 binlog 大小严重超标,在磁盘空间不足时可能会把磁盘占满。
使用xtraback增量备份的话,如何之前一直有备份最好,合并就行,临时使用的话,io消耗比较大,备份的文件大小也比mysqldump的大 使用移动表空间,消耗的时间较短,但是要考虑锁表的问题,并且目标数据库需要提前建库建表
下面举个例子进行说明
1 普通表空间的传递
准备两个mysql,源+目标,同时进行建表命令,一个我们称呼为源mysql,一个称呼为目标mysql
create table first(id int,name char(16));
在源mysql中插入数据
insert into first values(1,'ni'),(2,'wo'),(3,'ta');
在目标mysql上面释放表空间
alter table first discard tablespace; #相当于删除了first.ibd文件,留下了 first.frm
此时你可以对 frm 文件操作,例如:rename table,drop table ,但是不能对 ibd 文件操作,比如:dml
验证结果:
select * from first;
ERROR 1814 (HY000): Tablespace has been discarded for table 'first'
在源mysql上面创建.cfg元数据文件,注意,不要关闭当前窗口,否则消失
flush tables first for export; #此时,源MySQL有了first.cfg文件,
验证情况:
insert into first values(10,'hehe'); DML 操作是阻塞的ERROR 1099 (HY000): Table 'first' was locked with a READ lock and can't be updated
复制first.cfg文件和first.ibd文件到目标mysql
cp 源mysql路径/first.{cfg,ibd} 目标mysql/
修改权限
chown mysql.mysql *
源mysql释放锁
UNLOCK TABLES;
目标mysql导入表空间
alter table first import tablespace;
目标mysql查看结果
select * from first;
注意:如果是加密的表空间,传递的文件就是 .cfp .cfg .ibd三个文件
2 分区表空间传递(mysql5.7.4之后的版本)
接替上一篇博客建立的分区表 test_range_partition 我们来做分区表的迁移
在目标服务器上面建立database和表test_range_partition
mysql> CREATE TABLE test_range_partition(
-> id INT auto_increment,
-> createdate DATETIME,
-> primary key (id,createdate)
-> )
-> PARTITION BY RANGE (TO_DAYS(createdate) ) (
-> PARTITION p201801 VALUES LESS THAN ( TO_DAYS('') ),
-> PARTITION p201802 VALUES LESS THAN ( TO_DAYS('') ),
-> PARTITION p201803 VALUES LESS THAN ( TO_DAYS('') ),
-> PARTITION p201804 VALUES LESS THAN ( TO_DAYS('') ),
-> PARTITION p201805 VALUES LESS THAN ( TO_DAYS('') ),
-> PARTITION p201806 VALUES LESS THAN ( TO_DAYS('') ),
-> PARTITION p201807 VALUES LESS THAN ( TO_DAYS('') ),
-> PARTITION p201808 VALUES LESS THAN ( TO_DAYS('') ),
-> PARTITION p201809 VALUES LESS THAN ( TO_DAYS('') ),
-> PARTITION p201810 VALUES LESS THAN ( TO_DAYS('') ),
-> PARTITION p201811 VALUES LESS THAN ( TO_DAYS('') ),
-> PARTITION p201812 VALUES LESS THAN ( TO_DAYS('') )
-> );
Query OK, 0 rows affected (0.06 sec)
在目标服务器上面删除表的指定分区表空间
alter table test_range_partition discard partition p201802 tablespace;
查看
[root@localhost target]# ls
db.opt test_range_partition#P#p201805.ibd test_range_partition#P#p201810.ibd
test_range_partition.frm test_range_partition#P#p201806.ibd test_range_partition#P#p201811.ibd
test_range_partition#P#p201801.ibd test_range_partition#P#p201807.ibd test_range_partition#P#p201812.ibd
test_range_partition#P#p201803.ibd test_range_partition#P#p201808.ibd
test_range_partition#P#p201804.ibd test_range_partition#P#p201809.ibd
源服务器上面导出表空间,并复制到目标服务器上面
mysql> flush tables test_range_partition for export;
Query OK, 0 rows affected (0.00 sec) scp 源服务器ip/test_range_partition#P#p201802.{cfg,ibd} 目标服务器/
查看目标服务器的内容,并修改权限,否则导入的时候报错
[root@localhost target]# ls
db.opt test_range_partition#P#p201803.ibd test_range_partition#P#p201808.ibd
test_range_partition.frm test_range_partition#P#p201804.ibd test_range_partition#P#p201809.ibd
test_range_partition#P#p201801.ibd test_range_partition#P#p201805.ibd test_range_partition#P#p201810.ibd
test_range_partition#P#p201802.cfg test_range_partition#P#p201806.ibd test_range_partition#P#p201811.ibd
test_range_partition#P#p201802.ibd test_range_partition#P#p201807.ibd test_range_partition#P#p201812.ibd chown mysql.mysql *
源服务器释放锁
mysql> unlock tables;
Query OK, 0 rows affected (0.00 sec)
目标服务器导入表空间
mysql> alter table test_range_partition import partition p201802 tablespace; #这里报错是因为没有修改属主
ERROR 1812 (HY000): Tablespace is missing for table `target`.`test_range_partition`.
mysql> alter table test_range_partition import partition p201802 tablespace;
Query OK, 0 rows affected (0.02 sec) mysql> select * from test_range_partition; #只有两个数据,是因为导入了一个分区表空间,可以尝试导入所有的表空间
+----+---------------------+
| id | createdate |
+----+---------------------+
| 2 | 2018-02-05 00:00:00 |
| 3 | 2018-02-06 00:00:00 |
+----+---------------------+
2 rows in set (0.00 sec)
mysql通过表空间来恢复或者传递数据的更多相关文章
- mysql 案例 ~ 表空间迁移数据与数据导入
一 简介:mysql5.6+的表空间传输二 目的:复制数据到另一个表三 步骤 1 create table b like a ->创建一个空表 2 alter table b disc ...
- Oracle误删除表空间的恢复
对于误删除表空间的恢复,本文通过基于数据库的时间点恢复和基于表空间的时间点恢复分别加以讨论 一 通过基于数据库的时间点恢复被误删除的表空间 1 需要注意的事项 a 基于数据库的时间点恢复将会回退整个数 ...
- MySQL的表空间管理
表空间: MySQL没有真正意义上的表空间管理. MySQL的Innodb包含两种表空间文件模式,默认的共享表空间和每个表分离的独立表空间. 一般来说,当数据量很小的时候建议使用共享表空间的管理方式. ...
- ORACLE表空间offline谈起,表空间备份恢复
从ORACLE表空间offline谈起,表空间备份恢复将表空间置为offline,可能的原因包括维护.备份恢复等目的:表空间处于offline状态,那么Oracle不会允许任何对该表空间中对象的SQL ...
- 谈谈什么是MySQL的表空间?
今天我要跟你分享的话题是:"大家常说的表空间到底是什么?究竟什么又是数据表?" 这其实是一个概念性的知识点,当作拓展知识.涉及到的概念大家了解一下就好,涉及的参数,留个印象就好. ...
- WCF分布式开发步步为赢(8):使用数据集(DataSet)、数据表(DataTable)、集合(Collection)传递数据
数据集(DataSet).数据表(DataTable).集合(Collection)概念是.NET FrameWork里提供数据类型,在应用程序编程过程中会经常使用其来作为数据的载体,属于ADO.NE ...
- MySQL 独立表空间恢复案例
创建表的时候就会得到元数据.可以通过定义的方式对表的元数据进行生成 这个地方要注意的是 独立表空间当中 ibd & frm分别存储的是什么数据? 表空间:文件系统,为了更好的扩容数据库的存 ...
- mysql共享表空间转独立表空间
使用innodb_export_import.py脚本: https://github.com/thecpaneladmin/innodb-tools 安装MySQL-python模块: shell ...
- mysql之 表空间传输
说明:MySQL(5.6.6及以上),innodb_file_per_table开启. 1.1. 操作步骤: 0. 目标服务器创建相同表结构1. 目的服务器: ALTER TABLE t DISCAR ...
随机推荐
- java命令-jstack
jstack用于生产java虚拟机当前时刻的线程快照.线程快照是当前java虚拟机内每一条线程正在执行的方法 堆栈的集合,生成线程快照的主要目的是定位线程出现长时间停顿的原因,比如线程间死锁.死循环. ...
- python-列表list- 元组(tuple)- 集合(set)-字典(dict)-实例代码
python 经常用的数据类型还有列表list- 元组(tuple)- 集合(set)-字典(dict),以下是这四种类型用法的简单示例. 1.列表list [ ] 元素可变 , 有序 ...
- 常用js校验
身份证 function isCardNo(idCard){ //15位和18位身份证号码的正则表达式 var regIdCard=/^(^[1-9]\d{7}((0\d)|(1[0-2]))(([0 ...
- flutter环境搭建及跑起来demo(多图慎入)
话不多说,直接上 [1]环境搭建 从git上面clone下来 git clone -b beta https://github.com/flutter/flutter.git 由于国内网络的问题,我就 ...
- crontab定时执行datax
记录下使用crontab,datax定时同步数据遇到的问题. 1.开始使用如下配置,死活不执行.网上说crontab环境便利的问题,设置了也没反应. [root@hxjk_test_mysql_red ...
- 自定义jQuery Mobile工具栏按钮
自定义jQuery Mobile工具栏按钮 1.实现效果
- Win10+CentOS7双系统引导修复
在有Win10的系统下安装了CentOS7后,CentOS7的引导并不会像CentOS6一样自动加载入Win10驱动.难道是grub2不能引导Win驱动?查了一下资料原来是CentOS不能识别Win1 ...
- alerttemplate 时间戳转换
/*时间戳转换*/ template.defaults.imports.dateFmt = function(ns){ return new Date(parseInt(ns)).toLocaleSt ...
- python学习笔记:模块——os模块(操作文件/目录)
import os os.rename(old,new) #重命名文件或目录 os.remove(f)#删除文件 os.mkdir('china/beijing') #创建文件夹 os.makedir ...
- jquery 条件搜索某个标签下的子标签
$("li[name='"+name+"']").find("a[value='" + value + "']").pa ...