最后参考http://blog.sina.com.cn/s/blog_6942a1590101429h.html 来解决,摘录下核心

后来GOOGLE得知,需要重建该表才可以。

1. 设置新的参数

mysql> set global max_heap_table_size=1048576000

mysql> set global tmp_table_size=1048576000

2. 修改mysql配置文件,使得mysql重新启动时变动能够持续生效。

3. 最后,你需要重新连上MYSQL,重新创建相关的内存表。

mysql> ALTER TABLE zaojiao_sessions ENGINE MEMORY;

4. 最后,当应用重新连接到mysql数据库时,这些变更就生效了。

我自家加的:

centos下,my.cnf在/etc下,大概需要修改下那个文件,可以在mysqld重启后也能使用了。

ip地址库,根据ip查到具体的国家省市,经纬度,

采用内存表的方式,大概需要0.95秒;如果提前载入到有序列表,用内存换取时间,采用折半查找法,

列表的长度是:3767093,查到一个具体的值'207.46.250.101'的时间,分别试了两次:68纳秒,72纳米。在忙碌的windows机上是1000纳秒左右。很简单的程序,windows下消耗的内存是1.5G。

下面说说用内存表的情况:

先做设置:

set global max_heap_table_size=1048576000;
set global tmp_table_size=1048576000;

drop table ipv4_zh_mem;
CREATE TABLE `ipv4_zh_mem` (
`Start_Num` bigint(20) DEFAULT NULL,
`End_Num` bigint(20) DEFAULT NULL,
`country_name` varchar(256) COLLATE utf8_unicode_ci,
`subdivision_1_name` varchar(64) COLLATE utf8_unicode_ci,
`city_name` varchar(256) COLLATE utf8_unicode_ci,
`latitude` varchar(64),
`longitude` varchar(64)
) engine = memory;
create index memIndex on ipv4_zh_mem(Start_Num, End_Num);
insert into ipv4_zh_mem select Start_Num, End_Num, country_name, subdivision_1_name, city_name, latitude, longitude from ipv4_zh_full;

select * from ipv4_zh_mem limit 10;
select country_name, subdivision_1_name, city_name, latitude, longitude from ipv4_zh_mem where 3475962469 between Start_Num and End_Num;

最后一行执行的时间,为1.7s左右。之前没有用COLLATE utf8_unicode_ci的时候,执行的时间是0.95s。

说明: ipv4_zh_full的体积大概是600多M。系统缺省配置的内存表的限制是512M,所以必须更改限制。

编码方面的内容参考:http://blog.sina.com.cn/s/blog_6dbcbffc0100wvk3.html,为了处理中文的情况,需要修改my.cnf或者my.ini(windows下)

[mysqld]
default-character-set=utf8
default-storage-engine=INNODB
sql-mode="STRICT_TRANS_TABLES,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION"
[mysql]
default-character-set=utf8

解决mysql的内存表“table is full”错误的更多相关文章

  1. mysql之内存表

    一.引言 昨天下午老大让我查资料看一下mysql的内存表在主从备份中是否能被复制,我还没听说过内存表呢,于是上网查资料,记录一下,以便查阅.学习 二.进展 参考: http://www.cnblogs ...

  2. MySQL的内存表(转)

    说明:MySQL内存表可以提升一些临时业务的查询,比如做Session的共享,一些类似缓存的数据等. “内存表”顾名思义创建在内存中的表,真是这样吗?其实不然,MySQL的内存表,表结构创建在磁盘上, ...

  3. 解决mysql开启GTID主从同步出现1236错误问题【转】

    最近遇到mysql开启gtid做复制时,从库出现1236错误,导致同步无法进行,本文就这问题记录下处理步骤,有关gtid知识在这里不做介绍,mysql版本为5.7.16. 一.错误原因分析 错误信息如 ...

  4. 解决mysql开启GTID主从同步出现1236错误问题

    解决mysql开启GTID主从同步出现1236错误问题     最近遇到mysql开启gtid做复制时,从库出现1236错误,导致同步无法进行,本文就这问题记录下处理步骤,有关gtid知识在这里不做介 ...

  5. mysql的内存表和临时表

    内存表: session $ mysql -uroot root@(none) ::>use test Database changed root::>CREATE TABLE tmp_m ...

  6. linux设置虚拟内存(swap)解决mysql因内存不足挂掉的故障

    mysql错误日志显示: InnoDB: mmap(137363456 bytes) failed; errno 122016-03-01 01:38:42 13064 [ERROR] InnoDB: ...

  7. 解决mySQL占用内存超大问题

    为了装mysql环境测试,装上后发现启动后mysql占用了很大的虚拟内存,达8百多兆.网上搜索了一下,得到高人指点my.ini.再也没见再详细的了..只好打开my.ini逐行的啃,虽然英文差了点,不过 ...

  8. 解决Mysql因内存不足启动失败的问题

    参考:https://www.jb51.net/article/136432.htm 一.查看内存 free -h free -m 二.解决方法: 1.增加swap交换空间解决问题: dd if=/d ...

  9. [mysql] 修复问题表Table '.xxxx' is marked as crashed and should be repaired

    程序执行的过程中,出现   Table '.xxxx' is marked as crashed and should be repaired 错误,上网查了一下,原来是表遭到损坏所致,具体修复办法如 ...

随机推荐

  1. 阿里云不同账号之间相同地域的VPC网络互访

    今天实际操作了一下,在这篇随笔中记录一下以备忘,主要参考阿里云帮助文档-不同账号下专有网络内网互通. 实现场景:账号A的VPC网络中的ECS访问账号B的VPC网络中的ECS与RDS(地域都在华东1), ...

  2. 腾讯云服务器部署FTP

    腾讯云服务器,在申请成功后就可以使用远程桌面了. FTP服务器端软件 下载地址:https://filezilla-project.org/download.php?type=server FTP客户 ...

  3. BZOJ 1003 - 物流运输 - [最短路+dp]

    题目链接:https://www.lydsy.com/JudgeOnline/problem.php?id=1003 Time Limit: 10 Sec Memory Limit: 162 MB D ...

  4. Hive:解决Hive创建文件数过多的问题

    今天将临时表里面的数据按照天分区插入到线上的表中去,出现了Hive创建的文件数大于100000个的情况,我的SQL如下: hive> insert overwrite table test pa ...

  5. vuex 的基本使用之Module

    Module 首先介绍下基本的组件化规则:你可以根据项目组件的划分来拆分 store,每个模块里管理着当前组件的状态以及行为,最后将这些模块在根 store 进行组合. const moduleA = ...

  6. Linux忘记密码常用的几种解决方法

    原文链接:https://www.cnblogs.com/vurtne-lu/p/6550590.html 一. lilo引导1. 在出现 lilo: 提示时键入 linux single Boot: ...

  7. SQL Server 2008 R2提示评估期已过

    解决SQL Server 2008 r2提示评估期已过 1.注册表把 HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Microsoft SQL Server\100\Co ...

  8. fork多线程进程时的坑(转)

    add : 在fork多线程的进程时,创建的子进程只包含一个线程,该线程是调用fork函数的那个线程的副本.在man fork中,有The child process is created with ...

  9. 图书管理(Loj0034)+浅谈哈希表

    图书管理 题目描述 图书管理是一件十分繁杂的工作,在一个图书馆中每天都会有许多新书加入.为了更方便的管理图书(以便于帮助想要借书的客人快速查找他们是否有他们所需要的书),我们需要设计一个图书查找系统. ...

  10. python 版Faster Rcnn

    直接按照官网https://github.com/rbgirshick/py-faster-rcnn上的教程对faster Rcnn进行编译的时候,会发有一些层由于cudnn版本的更新,会报错如下: ...