一个InnoDB表包含两部分:表结构定义和数据。在MySQL 8.0版本前,表结构存在以.frm为后缀的文件里。之后的版本允许把表结构定义放在系统数据表中。由于表结构定义占用空间很小,所以主要讨论表数据。

接下来,先说明为什么简单删除表数据达不到表空间回收的效果,再介绍正确回收空间的方法。

参数innodb_file_per_table

表数据既可以存在共享表空间里,也可以是单独的文件,这由参数innodb_file_per_table控制:

  • 设为OFF,表示表数据放在系统共享表空间,也就是跟数据字典放在一起;

  • 设为ON,表示每个InnoDB表数据存储在一个以.ibd为后缀的文件中。

从MySQL 5.6.6版本开始,默认值为ON。建议也是使用ON,因为一个表单独存储为一个文件更容易管理,而且在不需要该表时通过drop table命令,系统就会直接删除文件;如果是放在共享表空间中,即使表删除,空间也是不会回收的。

接下来的讨论也是基于innodb_file_per_table=ON的设置。

在删除整张表的时候,可以使用drop table命令回收表空间。但是,平时更多的场景是删除某些行。

数据删除流程

为了搞懂删除部分行的场景,需要先从数据删除流程开始说。

看一下InnoDB中一个索引的示意图:

假设要删除R4这个记录,InnoDB只会把R4这个记录标记为删除。如果之后插入一个ID在300-600间的记录,可能会复用这个位置,但磁盘文件的大小不会缩小。

那么如果将一个数据页上的所有记录都删除,会怎么样呢?答案是整个数据页可以复用。

但是数据页的复用和记录的复用还是不一样的。记录的复用只限于符合范围条件的数据,而一旦一个数据页可以复用,所有范围的数据都可以使用。比如在上面的索引中,若page A是可复用的,ID=50这样的记录也能使用该页。

如果相邻两个数据页利用率都很小,系统会把这两个页上的数据合到其中一个页上,另一个页就会被标记为可以复用。

进一步地,如果用delete命令删除整个表的数据,那么所有数据页都会被标记为可复用,而磁盘上的文件并不会变小。也就是说,delete命令不能回收表空间,这些可以复用却没被使用的空间,看起来就像“空洞”。

实际上不止删除数据会造成空洞,插入数据也会。如果数据的插入是随机的,可能造成索引的数据页分裂。比如在上面的索引中,假设page A已满,这时若要再插入一行数据ID=550:

当page A已满的情况下进行插入,就必须再申请一个新的页面page B来保存数据。由于页分裂导致部分数据移动,page A就出现了空洞。

除了插入,由于更新可以看为删除+插入,也可能造成空洞。即,增删改都可能出现空洞。所以,如果能把这些空洞去掉,就能达到收缩表空间的目的。

重建表就可以达到这样的目的。

重建表

假设现在有一个表A,需要去除其中的空洞,有什么办法呢?

可以新建一个与表A结构相同的表B,然后按照主键ID递增的顺序,把数据逐行从表A读取出来再插入到表B中。由于表B是新建的表,所以没有表A上的空洞。把表B作为临时表,数据从表A导入表B后,再用表B替换表A,从效果上就是表A没有空洞了。

可以使用alter table A engine=InnoDB的命令重建表。在MySQL 5.5版本前,这个命令的执行流程和上面描述的差不多,区别只是不需要自己创建临时表,MySQL会自动完成转存数据、交换表名、删除旧表的操作。

在往临时表插入数据的过程中,如果有新的数据要写入表A,会造成数据损失,因此整个DDL的过程中,表A不能有更新,即DDL不是Online的。

而MySQL 5.6开始的版本引入了Online DDL,对这个操作流程做了优化。新的流程为:

  • 建立一个临时文件;

  • 扫描表A主键的所有数据页,用里面的记录生成B+树,存储到临时文件中;

  • 生成临时文件的过程中,将所有对A的操作记录在一个日志文件(row log)中,对应下图中state 2的状态;

  • 临时文件生成以后,将日志文件中的操作应用到临时文件,得到一个逻辑数据上与表A相同的临时文件;

  • 用临时文件替换表A。

该操作流程由于日志文件和重放操作的功能,在重建表的过程中允许对表A做增删改操作。

当然,由于对表做改动,会有MDL锁的存在。alter语句在启动时会获取MDL写锁,但这个锁在真正拷贝数据之前就会退化成读锁,目的是禁止其他线程对这个表同时做DDL,又不会阻塞增删改操作。

对于一个大表来说,Online DDL最耗时的过程就是拷贝数据到临时表的过程,所以相对整个DDL过程来说,写锁锁住的时间非常短,可以认为是Online的。

需要说明的是,上述这些重建方法都会扫描原表数据和构建临时文件,对于很大的表来说,该操作很消耗IO和CPU资源。因此,如果是线上服务需要控制操作时间,推荐使用开源的gh-ost来做。

Online和inplace

说到Online,再讲一个容易混淆的概念inplace。

在早版本的重建表过程中,表A数据导出来的存放位置叫做tmp_table,这个临时表是在Server层创建的。

而在后面的版本,表A重建出来的数据是放在tmp_file里的(见前面的图),这个临时文件是InnoDB在内部创建出来的。由于整个DDL过程在InnoDB内部完成,对于Server层来说,没有把数据挪动到临时表,是一个“原地”操作,因此叫inplace。

那么假如表大小为1TB,磁盘空间为1.2TB,是否能做inplace的DDL呢?答案是不行的,因为tmp_file会占用临时空间。

重建表的完整语句其实是下面这样:

alter table t engine=innodb,ALGORITHM=inplace;
alter table t engine=innodb,ALGORITHM=copy;

其中,copy表示强制拷贝表,即使用临时表;inplace表示使用临时文件。

那是否表示,inplace就是Online?也不是,只是在重建表这个逻辑中刚好是这样。

如果说这两个逻辑之间的关系是什么,可以概括为:

  • DDL过程如果是Online的,就一定是inplace的;

  • 反之不正确,inplace的DDL,不一定是Online的。截止到 MySQL 8.0,添加全文索引(FULLTEXT index)和空间索引 (SPATIAL index) 就属于这种情况。比如要给InnoDB表的一个字段加全文索引,过程是inplace的,但会阻塞增删改。

MySQL 13 为什么表数据删掉一半,表文件大小不变?的更多相关文章

  1. 《Mysql - 为什么表数据删掉一半,表文件大小不变?》

    一:概念 - 这里,我们还是针对 MySQL 中应用最广泛的 InnoDB 引擎展开讨论. - 一个 InnoDB 表包含两部分,即:表结构定义和数据. - 在 MySQL 8.0 版本以前,表结构是 ...

  2. MySQL 笔记整理(13) --为什么数据表删掉一半,表文件大小不变?

    笔记记录自林晓斌(丁奇)老师的<MySQL实战45讲> (本篇内图片均来自丁奇老师的讲解,如有侵权,请联系我删除) 13) --为什么数据表删掉一半,表文件大小不变? 我们还是以MySQL ...

  3. 取A表数据,关联B表任意一条数据

     表A=================== AID, AName 1 jack 2 mary 3 lily 表B================== BID, AID, BName 1 1 aaa ...

  4. 三十一.MySQL存储引擎 、 数据导入导出 管理表记录 匹配条件

    1.MySQL存储引擎的配置 查看服务支持的存储引擎 查看默认存储类型 更改表的存储引擎 设置数据库服务默认使用的存储引擎 1.1 查看存储引擎信息 mysql> SHOW ENGINES\G ...

  5. merge源表数据移植到目标表新表数据中

    merge into dbo.ak_SloteCardTimes a using(select RecordID,CardNO,SloteCardTime from dbo.Tb_CardDate b ...

  6. SQL Server 的表数据简单操作(表数据查询)

    --表数据查询----数据的基本查询-- --数据简单的查询--select * | 字段名[,字段名2, ...] from 数据表名 [where 条件表达式] 例: use 商品管理数据库 go ...

  7. 设计一个A表数据抽取到B表的抽取过程

    原题如下: 解题代码如下: table1类: @Data @NoArgsConstructor @AllArgsConstructor public class table1{ private Str ...

  8. 【database】复制表数据到相同备份表

    目的及由来,因为数据库表都采取逻辑删除isDeleted=true/flase,但是之前有些报表或者其他的sql并没有在sql中指明此条件.为了不影响之前代码,所以: 1.数据库中创建一张相同的表,把 ...

  9. sqlserver复制表数据到另一个表

    SQL Server中,如果目标表存在: insert into 目标表 select * from 原表; SQL Server中,,如果目标表不存在: select * into 目标表 from ...

  10. mysql把A表数据插入到B表数据的几种方法

    web开发中,我们经常需要将一个表的数据插入到另外一个表,有时还需要指定导入字段,设置只需要导入目标表中不存在的记录,虽然这些都可以在程序中拆分成简单sql来实现,但是用一个sql的话,会节省大量代码 ...

随机推荐

  1. windows切换nodejs版本

    卸载之前的nodejs 第一步:下载nvm并安装 (推荐使用nvm-setup.zip) https://github.com/coreybutler/nvm-windows/releases 第二步 ...

  2. 一步到位js/javascript对象和querystring查询字符串互转(get/url参数)

    当然,这个问题又很多解决方式,这里说一种最简洁的方式: 对象转querystring查询字符串(get/url参数) 我看网上的方法都比较繁琐,其实可以直接使用js的URLSearchParams对象 ...

  3. 初见 cmake

    初见 cmake cmake 是自动生成构建系统的一个工具.cmake 本身不是构建系统,它是一个生成构建系统的工具.或者说 cmake 不是一个构建工具,是一个能根据平台生成对应平台构建系统配置的构 ...

  4. 【MOOC】JS脚本|便于复制粘贴中国大学MOOC网站的测试题和选项

    文章目录 运行结果 完整代码 可复用的部分 1. 删除指定Class或Id的DOM元素 2. 在页面上添加按钮并绑定事件.添加css.class 3. 等待页面加载完成,运行异步函数 4. 选中某个D ...

  5. P1514 [NOIP 2010 提高组] 引水入城 题解

    题意:P1514 [NOIP 2010 提高组] 引水入城有点复杂,自己看吧. 思路 这里提供一个好像没见过的纯 DP 做法,不需要神秘的证明以及任何脑子,直接顺着思路做即可. 首先判断正确性就是从第 ...

  6. Form验证实例

    程序目录 models.py from django.db import models# Create your models here.class UserInfo(models.Model):   ...

  7. C#开发的PDF文件浏览器 - 开源研究系列文章 - 个人小作品

    以前个人的PDF浏览主要是用的Adobe DC的PDF,不过它这个打开速度还是一般.后来安装的极速PDF浏览器,速度还是比较快的了.它这个主要是浏览,然后还能够安装编辑器对PDF文件进行编辑,不过就需 ...

  8. 应用内存管理:Linux的应用与内存管理

    应用程序想要使用内存,必须得找操作系统申请,那就有必要先了解下Linux内核怎么管理内存的,然后再去分析应用程序的内存管理细节. 硬件架构 现代计算机体系结构被称为Non-Uniform Memory ...

  9. Python Set | update()

    Python update() function in set adds elements from a set (passed as an argument) to the set. Syntax ...

  10. Claude 4炸裂发布!凭什么敢称宇宙最强编程 AI?

    5 月 23 日,Claude 官方宣布推出下一代 Claude 模型:Claude Sonnet 4 和 Claude Opus 4,直接 在全世界的 AI 圈掀起了新的风暴! 据官方称,Claud ...