mysql临时表空间暴涨
（此文刚好遇到转载记录）
一、内部临时表使用
在某些情况下，服务器在处理语句时创建内部临时表，而用户无法直接控制临时表何时发生，完全有MySQL内部自行决定。
MySQL在以下几种情况会创建临时表：
1、UNION查询（MySQL 5.7起，执行UNION ALL不再产生临时表，除非需要额外排序。）；
2、用到TEMPTABLE算法或者是UNION查询中的视图；
3、ORDER BY和GROUP BY的子句不一样时；
4、表连接中，ORDER BY的列不是驱动表中的；
5、DISTINCT查询并且加上ORDER BY时；
6、SQL中用到SQL_SMALL_RESULT修饰符的查询；
7、FROM中的子查询（派生表）；
8、子查询或者semi-join时创建的表；
9、评估多表UPDATE语句；
10、评价GROUP_CONCAT()或COUNT(DISTINCT) 表达式计算；
要确定语句是否需要临时表，请使用EXPLAIN并检查Extra列以查看是否显示Using temporary。但对于派生或实物化的临时表EXPLAIN不一定会显示Using temporary。
MySQL内部参数tmp_table_size表示内部的临时表的最大值，其实生效的是tmp_table_size和max_heap_table_size这两个值之间的最小的那个值。当创建的临时表超过这个值(或者max_heap_table_size)时，MySQL将会在磁盘上创建临时表。
|
1
2
3
4
5
6
7
8
|
mysql> show global variables like '%table_size%';
+---------------------+----------+
| Variable_name | Value |
+---------------------+----------+
| max_heap_table_size | 16777216 |
| tmp_table_size | 16777216 |
+---------------------+----------+
2 rows in set (0.00 sec)
|
当服务器创建内部临时表（在内存或磁盘上）时，会增加Created_tmp_tables状态变量（SHOW PROCESSLIST可以看到）。如果服务器在磁盘上创建表（最初或通过转换内存中的表），它会增加Created_tmp_disk_tables状态变量。
|
1
2
3
4
5
6
7
8
9
|
mysql> show global status like '%Created_tmp%';
+-------------------------+-------+
| Variable_name | Value |
+-------------------------+-------+
| Created_tmp_disk_tables | 12495 |
| Created_tmp_files | 12268 |
| Created_tmp_tables | 39887 |
+-------------------------+-------+
3 rows in set (0.00 sec)
|
通过检查Created_tmp_disk_tables和Created_tmp_tables这两个global状态值来判断在磁盘上创建临时表的次数来进行相应的调优。
某些查询条件阻止使用内存中临时表，在以下几种情况下，会创建磁盘临时表：
1、表中存在BLOB或TEXT列；
2、在SELECT列表中存在任何字符串列的最大长度大于512（二进制字符串的字节，非二进制字符的字符），如果被UNION或UNION ALL使用；
3、SHOW COLUMNS FROM DB和DESCRIBE语句中使用BLOB作为用于某些列的类型；
服务器不使用符合特定条件的UNION语句的临时表。相反, 它只保留临时表创建执行结果列类型转换所需的数据结构。该表没有完全实例化, 并且没有写入或读取任何行，行直接发送到客户端。结果是减少了内存和磁盘要求, 并且在第一行发送到客户端之前的延迟较小, 因为服务器不需要等到执行最后一个查询块。解释和优化器跟踪输出反映了此执行策略: UNION结果查询块不存在, 因为该块对应于从临时表中读取的部分。
二、用于临时表的存储引擎
内部临时表可以在内存中保持并且由MEMORY存储引擎处理，或者由存储在磁盘上的InnoDB或MyISAM存储引擎处理。
如果内部临时表被创建为内存中的表，但是变得太大后，MySQL会自动将其转换为磁盘表。内存中临时表的最大大小是由tmp_table_size和max_heap_table_size 两个值中的较小值的决定。这与使用create table显式创建的内存引擎表不同，对于此类表，只有max_heap_table_size系统变量确定允许表增长的大小, 并且不能转换为磁盘上的格式。
从MySQL 5.7.5开始，新增一个系统选项internal_tmp_disk_storage_engine可定义磁盘临时表的引擎类型为InnoDB，而在这以前，只能使用MyISAM。
|
1
2
3
4
5
6
7
|
mysql> show global variables like '%internal_tmp_disk_storage_engine%';
+----------------------------------+--------+
| Variable_name | Value |
+----------------------------------+--------+
| internal_tmp_disk_storage_engine | InnoDB |
+----------------------------------+--------+
1 row in set (0.00 sec)
|
而在MySQL 5.6.3以后新增的系统选项default_tmp_storage_engine是控制CREATE TEMPORARY TABLE创建的临时表的引擎类型，在以前默认是MEMORY，不要把这二者混淆了。
|
1
2
3
4
5
6
7
|
mysql> show global variables like '%default_tmp_storage_engine%';
+----------------------------+--------+
| Variable_name | Value |
+----------------------------+--------+
| default_tmp_storage_engine | InnoDB |
+----------------------------+--------+
1 row in set (0.00 sec)
|
如下，创建一个显式临时表（当前线程退出临时表就会删除）：
|
1
2
|
mysql> CREATE TEMPORARY TABLE tt(id int);
Query OK, 0 rows affected (0.00 sec)
|
在tmpdir参数控制存放磁盘路径的目录下有frm文件，如下：
|
1
2
3
4
5
6
7
|
mysql> show global variables like 'tmpdir';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| tmpdir | /tmp |
+---------------+-------+
1 row in set (0.00 sec)
|
|
1
2
3
|
$ ll /tmp/
total 12
-rw-r----- 1 mysql mysql 8632 Sep 5 23:59 #sql298d_5c2_0.frm
|
但是这里只能看到frm文件，MySQL 5.7开始增加了临时表空间ibtmp1，数据都在ibtmp1空间中存储。
三、临时表存储格式
内存中临时表由MEMORY存储引擎管理，MEMORY存储引擎使用固定长度的行格式。并将VARCHAR和VARBINARY类型填充到最大列长度，实际上将它们存储为CHAR和BINARY类型。
在磁盘上的临时表由管理InnoDB或MyISAM存储引擎（取决于internal_tmp_disk_storage_engine设置）。两个引擎使用dynamic-width行格式存储临时表。列只需要尽可能多的存储空间，与使用固定长度行的磁盘表相比，减少了磁盘I/O和空间要求以及处理时间。
对于最初在内存中创建内部临时表的语句，然后将其转换为磁盘表，可能会通过跳过转换步骤并在磁盘上创建表来实现更好的性能。所述big_tables系统变量可以用来迫使内部临时表的磁盘存储。
|
1
2
3
4
5
6
7
|
mysql> show global variables like '%big_tables%';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| big_tables | OFF |
+---------------+-------+
1 row in set (0.01 sec)
|
四、临时表空间使用
MySQL 5.7起，开始采用独立的临时表空间（和独立的undo表空间不是一回事哟），命名ibtmp1文件，初始化12M，且默认无上限。
选项innodb_temp_data_file_path可配置临时表空间相关参数。
|
1
2
3
4
5
6
7
|
mysql> show global variables like '%innodb_temp_data_file_path%';
+----------------------------+-----------------------+
| Variable_name | Value |
+----------------------------+-----------------------+
| innodb_temp_data_file_path | ibtmp1:12M:autoextend |
+----------------------------+-----------------------+
1 row in set (0.00 sec)
|
临时表空间的几点说明：
1、临时表空间不像普通InnoDB表空间那样，不支持裸设备（raw device）。
2、临时表空间使用动态的表空间ID，因此每次重启时都会变化（每次重启时，都会重新初始化临时表空间文件）。
3、当选项设置错误或其他原因（权限不足等原因）无法创建临时表空间时，mysqld实例也无法启动。
4、临时表空间中存储这非压缩的InnoDB临时表，如果是压缩的InnoDB临时表，则需要单独存储在各自的表空间文件中，文件存放在 tmpdir（/tmp）目录下。
5、临时表元数据存储在INFORMATION_SCHEMA.INNODB_TEMP_TABLE_INFO视图中。
临时表使用的几点建议：
1、设置innodb_temp_data_file_path选项，设定文件最大上限（innodb_temp_data_file_path = ibtmp1:12M:autoextend:max:200M），超过上限时，需要生成临时表的SQL无法被执行（一般这种SQL效率也比较低，可借此机会进行优化）。
2、检查INFORMATION_SCHEMA.INNODB_TEMP_TABLE_INFO，找到最大的临时表对应的线程，kill之即可释放，但ibtmp1文件则不能释放（除非重启）。
3、择机重启实例，释放ibtmp1文件，和ibdata1不同，ibtmp1重启时会被重新初始化而ibdata1则不可以。
4、定期检查运行时长超过N秒（比如N=300）的SQL，考虑干掉，避免垃圾SQL长时间运行影响业务。
临时表测试案例：
你可以往CREATE TEMPORARY TABLE里插入数据，ibtmp1会持续增长。另外你也可以产生一个union查询的慢SQL，MySQL 5.7起，执行UNION ALL不再产生临时表（除非需要额外排序）。
|
1
|
mysql> select * from sbtest1 union select * from sbtest2;
|
查看ibtmp1文件会持续增长。
|
1
2
|
$ du -sh /var/lib/mysql/ibtmp1
7.8G /var/lib/mysql/ibtmp1
|
有时执行SQL请求时会产生临时表，极端情况下，可能导致临时表空间文件暴涨，有案例中最高涨到快300G，比以前遇到的ibdata1文件暴涨还要猛。所以对于临时表空间的使用也是一定要多注意的。
MySQL 5.7起，开始采用独立的临时表空间（和独立的undo表空间不是一回事哟），命名ibtmp1文件，初始化12M，且默认无上限。
选项 innodb_temp_data_file_path 可配置临时表空间相关参数。
innodb_temp_data_file_path = ibtmp1:12M:autoextend
临时表空间的几点说明
- 临时表空间不像普通InnoDB表空间那样，不支持裸设备（raw device）。
- 临时表空间使用动态的表空间ID，因此每次重启时都会变化（每次重启时，都会重新初始化临时表空间文件）。
- 当选项设置错误或其他原因（权限不足等原因）无法创建临时表空间时，mysqld实例也无法启动。
- 临时表空间中存储这非压缩的InnoDB临时表，如果是压缩的InnoDB临时表，则需要单独存储在各自的表空间文件中，文件存放在tmpdir（/tmp）目录下。
- 临时表元数据存储在 INFORMATION_SCHEMA.INNODB_TEMP_TABLE_INFO 视图中。
有时执行SQL请求时会产生临时表，极端情况下，可能导致临时表空间文件暴涨，帮人处理过的案例中最高涨到快300G，比以前遇到的 ibdata1 文件暴涨还要猛…
临时表使用的几点建议
- 设置 innodb_temp_data_file_path 选项，设定文件最大上限，超过上限时，需要生成临时表的SQL无法被执行（一般这种SQL效率也比较低，可借此机会进行优化）。
- 检查 INFORMATION_SCHEMA.INNODB_TEMP_TABLE_INFO，找到最大的临时表对应的线程，kill之即可释放，但 ibtmp1 文件则不能释放（除非重启）。
- 择机重启实例，释放 ibtmp1 文件，和 ibdata1 不同，ibtmp1 重启时会被重新初始化而 ibdata1 则不可以。
- 定期检查运行时长超过N秒（比如N=300）的SQL，考虑干掉，避免垃圾SQL长时间运行影响业务。
附：临时表测试案例
表DDL
CREATE TEMPORARY TABLE `tmp1` (
`id` int(10) unsigned NOT NULL DEFAULT '0',
`name` varchar(50) NOT NULL DEFAULT '',
`aid` int(10) unsigned NOT NULL AUTO_INCREMENT,
`nid` int(11) unsigned GENERATED ALWAYS AS ((`id` + 1)) VIRTUAL NOT NULL,
`nnid` int(11) unsigned GENERATED ALWAYS AS ((`id` + 1)) STORED NOT NULL,
PRIMARY KEY (`aid`),
KEY `name` (`name`),
KEY `id` (`id`),
KEY `nid` (`nid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8
原表大小只有 120MB，从这个表直接 INSERT…SELECT 导数据到tmp1表。
-rw-r----- 1 yejr imysql 120M Apr 14 10:52 /data/mysql/test/sid.ibd
生成临时表（去掉虚拟列，临时表不支持虚拟列，然后写入数据），还更大了（我也不解，以后有机会再追查原因）。
-rw-r----- 1 yejr imysql 140M Jun 25 09:55 /Users/yejinrong/mydata/ibtmp1
查看临时表元数据信息
yejr@imysql.com [test]>select * from
INFORMATION_SCHEMA.INNODB_TEMP_TABLE_INFO\G
*********************** 1. row ***********************
TABLE_ID: 405
NAME: #sql14032_300000005_3
N_COLS: 6
SPACE: 421
PER_TABLE_TABLESPACE: FALSE
IS_COMPRESSED: FALSE
再删除索引，结果，又更大了
-rw-r----- 1 yejr imysql 204M Jun 25 09:57 /data/mysql/ibtmp1
第二次测试删除索引后，变成了200M（因为第二次测试时，我设置了临时表最大200M）
innodb_temp_data_file_path = ibtmp1:12M:autoextend:max:200M-rw-r----- 1 yejr imysql 200M Jun 25 10:15 /data/mysql/ibtmp1
执行一个会产生临时表的慢SQL。
注：MySQL 5.7起，执行UNION ALL不再产生临时表（除非需要额外排序）。
yejr@imysql.com [test]>explain select * from tmp1 union
select id,name,aid from sid\G
*************************** 1. row ***************************
id: 1
select_type: PRIMARY
table: tmp1
partitions: NULL
type: ALL
possible_keys: NULL
key: NULL
key_len: NULL
ref: NULL
rows: 3986232
filtered: 100.00
Extra: NULL
*************************** 2. row ***************************
id: 2
select_type: UNION
table: sid
partitions: NULL
type: ALL
possible_keys: NULL
key: NULL
key_len: NULL
ref: NULL
rows: 802682
filtered: 100.00
Extra: NULL
*************************** 3. row ***************************
id: NULL
select_type: UNION RESULT
table: <union1,2>
partitions: NULL
type: ALL
possible_keys: NULL
key: NULL
key_len: NULL
ref: NULL
rows: NULL
filtered: NULL
Extra: Using temporary
文件涨到588M还没结束，我直接给卡了
-rw-r----- 1 yejr imysql 588M Jun 25 10:07 /data/mysql/ibtmp1
第二次测试时，设置了临时表空间文件最大200M，再执行会报错：
yejr@imysql.com [test]>select * from tmp1 union
select id,name,aid from sid;
ERROR 1114 (HY000): The table '/var/folders/bv/j4tjn6k54dj5jh1tl8yn6_y00000gn/T/#sql14032_5_8' is full
mysql临时表空间暴涨的更多相关文章
- MySQL 5.7临时表空间
MySQL 5.7起,开始采用独立的临时表空间(和独立的undo表空间不是一回事哟),命名ibtmp1文件,初始化12M,且默认无上限. 选项 innodb_temp_data_file_path 可 ...
- MySQL 5.7 深度解析: 临时表空间
http://www.actionsky.com/docs/archives/159 2016年1月8日 杨涛涛 先来说说临时表的概念. 临时表顾名思义,就是临时的,用完销毁掉的表. 数据既可以保 ...
- MySQL Innodb--共享临时表空间和临时文件
在MySQL 5.7版本中引入Online DDL特性和共享临时表空间特性,临时数据主要存放形式为: 1.DML命令执行过程中文件排序(file sore)操作生成的临时文件,存储目录由参数tmpdi ...
- MySQL 临时表
MySQL 临时表在我们需要保存一些临时数据时是非常有用的.临时表只在当前连接可见,当关闭连接时,Mysql会自动删除表并释放所有空间. 临时表在MySQL 3.23版本中添加,如果你的MySQL版本 ...
- Mysql临时表的用法 - 51CTO.COM
body{ font-family: "Microsoft YaHei UI","Microsoft YaHei",SimSun,"Segoe UI& ...
- MySQL表空间集
--MySQL表空间集 ----------------------2014-09-20 1. 收缩ibdata的方法,目前MySQL依然没有提供收缩ibdata的方法,只能重构,下面是5.7的步骤. ...
- 二十六、MySQL 临时表
MySQL 临时表 MySQL 临时表在我们需要保存一些临时数据时是非常有用的.临时表只在当前连接可见,当关闭连接时,Mysql会自动删除表并释放所有空间. 临时表在MySQL 3.23版本中添加,如 ...
- DB-MySQL：MySQL 临时表
ylbtech-DB-MySQL:MySQL 临时表 1.返回顶部 1. MySQL 临时表 MySQL 临时表在我们需要保存一些临时数据时是非常有用的.临时表只在当前连接可见,当关闭连接时,Mysq ...
- MySQL 临时表和复制表
MySQL 临时表在我们需要保存一些临时数据时是非常有用的.临时表只在当前连接可见,当关闭连接时,Mysql会自动删除表并释放所有空间. 临时表在MySQL 3.23版本中添加,如果你的MySQL版本 ...
随机推荐
- 牛客网 暑期ACM多校训练营（第二场）J.farm-STL(vector)+二维树状数组区间更新、单点查询 or 大暴力？
开心.jpg J.farm 先解释一下题意,题意就是一个n*m的矩形区域,每个点代表一个植物,然后不同的植物对应不同的适合的肥料k,如果植物被撒上不适合的肥料就会死掉.然后题目将每个点适合的肥料种类( ...
- Python_Tips[5] -> 可变数据类型作为初始化形参
可变数据类型作为初始化形参 / Mutable Parameter as Init Formal-para 由于在Python中,没有类似C语言的static静态参数,因此当一个函数需要一个只初始化一 ...
- [Math Review] Statistics Basic: Sampling Distribution
Inferential Statistics Generalizing from a sample to a population that involves determining how far ...
- JAVA 父类与子类初始化顺序问题
main方法-->子类对象的初始化语句(new className()语句)--->子类构造[因为继承的缘故,它先不会执行]--->父类构造[这一步先不会执行]--->父类静态 ...
- c++ —— .bat 对拍
#include<cstdio> #include<cstring> #include<iostream> #include<algorithm> #i ...
- 解决虚拟机安装tomcat主机访问不到
在wmware中安装linux后安装好数据库,JDK及tomcat后启动服务,虚拟机中可以访问,但是主机却无法访问,但是同时主机和虚拟机之间可以ping的通.解决方法是关闭虚拟机中的防火墙服务.桌面- ...
- SQL SERVER 补丁查看
SELECT @@VERSION as 版本情况 SELECT SERVERPROPERTY('ProductVersion') as 产品版本编号, SERVERPROPERTY('Produc ...
- NSPredicate 应用 --数组如何一键去重,如何一行代码筛选,请慢慢看来
1.去重 NSArray * uniqueVarValueArray= [origArray valueForKeyPath:@"@distinctUnionOfObjects.VarKey ...
- namespace使用方法
https://blog.csdn.net/CHIERYU/article/details/50262043 参考值这文献
- java中XML操作：xml与string互转、读取XML文档节点及对XML节点增删改查
一.XML和String互转: 使用dom4j程式变得很简单 //字符串转XML String xmlStr = \"......\"; Document document = D ...