场景:需要对现在数据库的数据进行批量的进行is_del=1的操作,但是遇到一个问题,在执行sql的时候发现sql不能在查询特定表的时候再嵌套查询来做update的操作,经过讨论,后续我们想到用临时表的方案来解决这个问题。

开始进行数据测试,进行单用户的update操作,一切都比较顺利没有任何问题,操作的也是我们想操作的数据,接下来进行批量的数据操作,sql语句运行一会出现如下错误:
ERROR 1114 (HY000): The table 'adv_date_tmp' is full
报错为临时表已满,原因是没有调整mysql的默认临时表大小导致的报错。

tmp_table_size
如果内存内的临时表超过该值,MySQL自动将它转换为硬盘上的MyISAM表。如果你执行许多高级GROUP BY查询并且有大量内存,则可以增加tmp_table_size的值。

max_heap_table_size
该变量设置MEMORY (HEAP)表可以增长到的最大空间大小。该变量用来计算MEMORY表的MAX_ROWS值。在已有的MEMORY表上设置该变量没有效果,除非用CREATE TABLE或TRUNCATE TABLE等语句重新创建表。

默认情况下的临时表大小不能满足特定场景的需求,这个时候就需要将临时表的大小进行动态的调整,一般我们推荐进行set session动态进行会话调整(可以不重启服务器进行调整),不过也可以通过调整my.cnf的配置来进行永久的调整(需要重启服务,不推荐这种操作)。

查询mysql的默认配置临时表的大小

mysql> show variables like '%tmp_table%';
+----------------+----------+
| Variable_name | Value |
+----------------+----------+
| max_tmp_tables | 32 |
| tmp_table_size | 16777216 |
+----------------+----------+
2 rows in set (0.00 sec) mysql> show variables like '%max_heap%';
+---------------------+----------+
| Variable_name | Value |
+---------------------+----------+
| max_heap_table_size | 16777216 |
+---------------------+----------+
1 row in set (0.00 sec)

在线调整临时表大小

mysql> set session tmp_table_size=1024*1024*1024;
Query OK, 0 rows affected (0.00 sec) mysql> set session max_heap_table_size=1024*1024*1024;
Query OK, 0 rows affected (0.00 sec) mysql> show variables like '%tmp_table%';
+----------------+------------+
| Variable_name | Value |
+----------------+------------+
| max_tmp_tables | 32 |
| tmp_table_size | 1073741824 |
+----------------+------------+
2 rows in set (0.00 sec) mysql> show variables like '%max_heap%';
+---------------------+------------+
| Variable_name | Value |
+---------------------+------------+
| max_heap_table_size | 1073741824 |
+---------------------+------------+
1 row in set (0.00 sec)

进行sql语句操作

mysql> CREATE TEMPORARY TABLE IF NOT EXISTS tmp_table ENGINE = MEMORY SELECT adf.opt_id FROM `test`.`test.count` a INNER JOIN `test`.`test.prise` e ON a.prise_id=e.prise_id AND e.is_del=0 AND e.domain IN('test1','test2','test3','test4','test5','test6','test7','test8','test9','test10','test11','test12','test13','test14','test15','test16','test17','test18','test19') INNER JOIN `online`.`FILTER` adf ON adf.user_id=a.user_id AND adf.is_del=0 AND adf.is_global=0 AND adf.`type`='fixed' AND adf.`name` IN ('今天', '昨天', '最近7天', '最近30天', '最近90天', '最近一年') LEFT JOIN `online`.`OPT_ID_DELETE` oid ON adf.opt_id=oid.opt_id WHERE a.is_del=0 AND a.username='admin' AND oid.opt_id is NULL;
Query OK, 101976 rows affected (2 min 3.82 sec)
Records: 101976 Duplicates: 0 Warnings: 0

更新表数据

mysql> UPDATE `online`.`FILTER` SET is_del=1 WHERE opt_id IN( SELECT opt_id FROM tmp_table);

mysql> drop table tmp_table;

Ok,整个操作完成。

ERROR 1114 (HY000): The table 'adv_date_tmp' is full(Mysql临时表应用)的更多相关文章

  1. mysql - ERROR 1114 (HY000): The table is full

    mysql - ERROR 1114 (HY000): The table is full - Stack Overflowhttps://stackoverflow.com/questions/73 ...

  2. MySQL错误ERROR 2002 (HY000): Can't connect to local MySQL server

    From: http://www.jb51.net/article/56952.htm 这篇文章主要介绍了MySQL错误ERROR 2002 (HY000): Can't connect to loc ...

  3. ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2)

    有时候,当我们使用"mysql"."mysqladmin"."mysqldump"等命令管理数据库时,服务器抛出类似如下错误: 一.错误现场 ...

  4. ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2)

    从供应商手中接手一个云平台(Windwos Azure)上的MySQL数据库,登录数据库时遇到错误: $mysql -uroot -p Enter password: ERROR 2002 (HY00 ...

  5. ERROR 2002 (HY000): Can’t connect to local MySQL server through socket ‘/var mysql 启动不了(转载)

    ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var mysql 启动不了   ps -A | gr ...

  6. Mac mySql ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2)的解决办法

    我的环境:Mac 10.11.6 ,mysql  5.7.14  . mac mySql 报错ERROR 2002 (HY000): Can't connect to local MySQL serv ...

  7. linux云服务器mysql ERROR 2002 (HY000): Can’t connect to local MySQL server through socket ‘/tmp/mysql.sock’

    一早上过来发现网站打开报错,数据库连接不上.. 有人改密码? putty进去,mysql -uroot -p 输入密码后,报错 ERROR 2002 (HY000): Can't connect to ...

  8. 更换mysql数据目录后出现ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2) 的解决办法

    服务器上的mysql默认数据目录为/var/lib/mysql/,同时服务器的/空间不是很大,而近期又有大量的日志需要导入进行分析,时常搞得/的空间捉襟见肘,晚上一狠心就想把mysql的数据目录转移到 ...

  9. 启动mysql错误ERROR 2002 (HY000): Can’t connect to local MySQL server through socket ‘/var/lib/mysql/mysql.sock’ (2)

    ERROR 2002 (HY000): Can’t connect to local MySQL server through socket ‘/var/lib/mysql/mysql.sock’ ( ...

随机推荐

  1. hdu4722Good Numbers(dp)

    链接 这题规律其实挺明显的 打表找规律估计都可以 正规点就是DP 算出第N位所包含的good number的数量 如果给出的数是N+1位 就枚举各位上比原来小的数 加上下一位的dp值 一个i写成g了 ...

  2. com.google.common.eventbus.EventBus介绍

    以下内容直接翻译了EventBus的注释: com.google.common.eventbus.EventBus介绍: 首先这个类是线程安全的, 分发事件到监听器,并提供相应的方式让监听器注册它们自 ...

  3. 【JavaScript 开发规范】

    Javascript 最佳实践http://sofish.de/1171http://sofish.de/1181 总是使用 ‘var’ √ 特性检测而非浏览器检测 √ 使用方括号记法 √ 使用&qu ...

  4. asp.net 使用 MongoDB 初体验

    首先:驱动 如果asp.net 想使用MongoDB,.net没有自带的链接类.得用第三方或官方的链接类. 当然有很多种驱动,我就不一一介绍了. 今天我就介绍一个我比较常用的驱动-----MongoD ...

  5. C# 深复制

    using System; using System.Collections.Generic; using System.Linq; using System.Text; namespace Cons ...

  6. [Andrew]Ext.net Grid常用js

    var gridFunction= function (gridId) {                //获取当前Grid                var gridView = Ext.ge ...

  7. JS中Date.parse方法返回NaN解决方案

    Date.parse()方法: //将时间字符串转换为秒数 var date_str = '2013-12-3 18:32:00'; alert(date_str.replace(/-/g,'/')) ...

  8. IT小说

    最近迷上了IT小说,连着读了好几个连载.伴随着一个项目的一些事,一些矛盾,也能体现出一个社会的缩影.最吸引的应该是一种熟悉感,常常想要是拍成电视剧也应该很好看,像<半泽植树>似的.看完了, ...

  9. java.lang.RuntimeException: java.lang.ClassNotFoundException: cmd.CmdWordCount$MyMapper解决方法

    14/02/28 20:29:48 INFO mapred.JobClient: Task Id : attempt_201402281833_0004_m_000000_1, Status : FA ...

  10. 算法导论学习-prim算法

    一. 关于最小生成树 对于无向连通图G=(V,E),其中V表示图的顶点,E表示图的边,对于每条边都有一个权值,可以理解为边a->b的权值C为从a走到b要走的路程为C.现在我们希望找到一个无回路的 ...