大量数据导入导致mysql自动重启
昨天晚上第十款做数据库迁移，数据库版本：Version: '5.1.61'，数据量27G左右
message报错信息如下：
Mar :: VM_163_210_tlinux kernel: [18465684.480438] TsysProxy invoked oom-killer: gfp_mask=0x201da, order=, oom_adj=
Mar :: VM_163_210_tlinux kernel: [18465684.480444] Pid: , comm: TsysProxy Not tainted 2.6.32.57-tlinux_xenU-1.1.rc10-default #
Mar :: VM_163_210_tlinux kernel: [18465684.480447] Call Trace:
Mar :: VM_163_210_tlinux kernel: [18465684.480456] [<ffffffff810904ab>] oom_kill_process.clone.+0xab/0x270
Mar :: VM_163_210_tlinux kernel: [18465684.480459] [<ffffffff81090788>] __out_of_memory+0x118/0x180
Mar :: VM_163_210_tlinux kernel: [18465684.480462] [<ffffffff81090872>] out_of_memory+0x82/0x170
Mar :: VM_163_210_tlinux kernel: [18465684.480467] [<ffffffff81098b40>] ? isolate_pages_global+0x0/0x230
Mar :: VM_163_210_tlinux kernel: [18465684.480470] [<ffffffff81094f09>] __alloc_pages_nodemask+0x629/0x640
Mar :: VM_163_210_tlinux kernel: [18465684.480476] [<ffffffff810bf376>] alloc_pages_current+0x76/0xd0
Mar :: VM_163_210_tlinux kernel: [18465684.480481] [<ffffffff8108db8b>] __page_cache_alloc+0xb/0x10
Mar :: VM_163_210_tlinux kernel: [18465684.480484] [<ffffffff810969e1>] __do_page_cache_readahead+0xc1/0x210
Mar :: VM_163_210_tlinux kernel: [18465684.480487] [<ffffffff81096b4c>] ra_submit+0x1c/0x20
Mar :: VM_163_210_tlinux kernel: [18465684.480490] [<ffffffff8108e382>] filemap_fault+0x3f2/0x440
Mar :: VM_163_210_tlinux kernel: [18465684.480493] [<ffffffff810a480f>] __do_fault+0x4f/0x4e0
Mar :: VM_163_210_tlinux kernel: [18465684.480500] [<ffffffff817a7266>] ? schedule_hrtimeout_range+0xb6/0x130
Mar :: VM_163_210_tlinux kernel: [18465684.480503] [<ffffffff810a6de8>] handle_mm_fault+0x1b8/0x9e0
Mar :: VM_163_210_tlinux kernel: [18465684.480507] [<ffffffff81048e50>] ? default_wake_function+0x0/0x10
Mar :: VM_163_210_tlinux kernel: [18465684.480512] [<ffffffff810e3954>] ? mntput_no_expire+0x24/0xf0
Mar :: VM_163_210_tlinux kernel: [18465684.480517] [<ffffffff81034460>] do_page_fault+0x110/0x2e0
Mar :: VM_163_210_tlinux kernel: [18465684.480520] [<ffffffff817a87d5>] page_fault+0x25/0x30
Mar :: VM_163_210_tlinux kernel: [18465684.480521] Mem-Info:
Mar :: VM_163_210_tlinux kernel: [18465684.480523] Node DMA per-cpu:
Mar :: VM_163_210_tlinux kernel: [18465684.480525] CPU : hi: , btch: usd:
Mar :: VM_163_210_tlinux kernel: [18465684.480527] CPU : hi: , btch: usd:
Mar :: VM_163_210_tlinux kernel: [18465684.480529] CPU : hi: , btch: usd:
Mar :: VM_163_210_tlinux kernel: [18465684.480530] CPU : hi: , btch: usd:
Mar :: VM_163_210_tlinux kernel: [18465684.480532] Node DMA32 per-cpu:
Mar :: VM_163_210_tlinux kernel: [18465684.480534] CPU : hi: , btch: usd:
Mar :: VM_163_210_tlinux kernel: [18465684.480535] CPU : hi: , btch: usd:
Mar :: VM_163_210_tlinux kernel: [18465684.480537] CPU : hi: , btch: usd:
Mar :: VM_163_210_tlinux kernel: [18465684.480539] CPU : hi: , btch: usd:
Mar :: VM_163_210_tlinux kernel: [18465684.480540] Node Normal per-cpu:
Mar :: VM_163_210_tlinux kernel: [18465684.480542] CPU : hi: , btch: usd:
Mar :: VM_163_210_tlinux kernel: [18465684.480544] CPU : hi: , btch: usd:
Mar :: VM_163_210_tlinux kernel: [18465684.480545] CPU : hi: , btch: usd:
Mar :: VM_163_210_tlinux kernel: [18465684.480547] CPU : hi: , btch: usd:
Mar :: VM_163_210_tlinux kernel: [18465684.480551] active_anon: inactive_anon: isolated_anon:
Mar :: VM_163_210_tlinux kernel: [18465684.480552] active_file: inactive_file: isolated_file:
Mar :: VM_163_210_tlinux kernel: [18465684.480553] unevictable: dirty: writeback: unstable:
Mar :: VM_163_210_tlinux kernel: [18465684.480554] free: slab_reclaimable: slab_unreclaimable:
Mar :: VM_163_210_tlinux kernel: [18465684.480555] mapped: shmem: pagetables: bounce:
Mar :: VM_163_210_tlinux kernel: [18465684.480557] Node DMA free:15836kB min:8kB low:8kB high:12kB active_anon:0kB inactive_anon:0kB active_file:0kB inactive_file:0kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:15260kB mlocked:0kB dirty:0kB writeback:0kB mapped:0kB shmem:0kB slab_reclaimable:0kB slab_unreclaimable:0kB kernel_stack:0kB pagetables:0kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned: all_unreclaimable? no
Mar :: VM_163_210_tlinux kernel: [18465684.480565] lowmem_reserve[]:
Mar :: VM_163_210_tlinux kernel: [18465684.480569] Node DMA32 free:105924kB min:2804kB low:3504kB high:4204kB active_anon:2740028kB inactive_anon:547884kB active_file:56kB inactive_file:92kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:3858656kB mlocked:0kB dirty:0kB writeback:0kB mapped:1356kB shmem:1068kB slab_reclaimable:1848kB slab_unreclaimable:2584kB kernel_stack:1080kB pagetables:7140kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned: all_unreclaimable? no
Mar :: VM_163_210_tlinux kernel: [18465684.480578] lowmem_reserve[]:
Mar :: VM_163_210_tlinux kernel: [18465684.480580] Node Normal free:19200kB min:19200kB low:24000kB high:28800kB active_anon:24942124kB inactive_anon:1662984kB active_file:512kB inactive_file:764kB unevictable:0kB isolated(anon):0kB isolated(file):128kB present:26421600kB mlocked:0kB dirty:0kB writeback:0kB mapped:9268kB shmem:8396kB slab_reclaimable:13232kB slab_unreclaimable:12120kB kernel_stack:1424kB pagetables:58280kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned: all_unreclaimable? no
Mar :: VM_163_210_tlinux kernel: [18465684.480589] lowmem_reserve[]:
Mar :: VM_163_210_tlinux kernel: [18465684.480592] Node DMA: *4kB *8kB *16kB *32kB *64kB *128kB *256kB *512kB *1024kB *2048kB *4096kB = 15836kB
Mar :: VM_163_210_tlinux kernel: [18465684.480599] Node DMA32: *4kB *8kB *16kB *32kB *64kB *128kB *256kB *512kB *1024kB *2048kB *4096kB = 106380kB
Mar :: VM_163_210_tlinux kernel: [18465684.480606] Node Normal: *4kB *8kB *16kB *32kB *64kB *128kB *256kB *512kB *1024kB *2048kB *4096kB = 19460kB
Mar :: VM_163_210_tlinux kernel: [18465684.480613] total pagecache pages
Mar :: VM_163_210_tlinux kernel: [18465684.480615] pages in swap cache
Mar :: VM_163_210_tlinux kernel: [18465684.480617] Swap cache stats: add , delete , find /
Mar :: VM_163_210_tlinux kernel: [18465684.480618] Free swap = 0kB
Mar :: VM_163_210_tlinux kernel: [18465684.480619] Total swap = 2097144kB
Mar :: VM_163_210_tlinux kernel: [18465684.567838] pages RAM
Mar :: VM_163_210_tlinux kernel: [18465684.567841] pages reserved
Mar :: VM_163_210_tlinux kernel: [18465684.567842] pages shared
Mar :: VM_163_210_tlinux kernel: [18465684.567843] pages non-shared
Mar :: VM_163_210_tlinux kernel: [18465684.567848] Out of memory: kill process (mysqld_safe) score or a child
Mar :: VM_163_210_tlinux kernel: [18465684.567851] Killed process (mysqld) vsz:34419948kB, anon-rss:29649368kB, file-rss:460kB
Mar :: VM_163_210_tlinux kernel: [18469067.168641] TCP: Possible SYN flooding on port . Sending cookies. Check SNMP counters.
Mar :: VM_163_210_tlinux nslcd[]: [5c31df] ldap_result() failed: Can't contact LDAP server
Mar :: VM_163_210_tlinux nslcd[]: [5c31df] ldap_abandon() failed to abandon search: Other (e.g., implementation specific) error
mysql error log 如下：
Version: '5.1.61' socket: '/tmp/mysql.sock' port: Source distribution
:: mysqld_safe Number of processes running now:
:: mysqld_safe mysqld restarted
参考stack-flow上面的分析：http://stackoverflow.com/questions/22522307/mysqld-safe-mysqld-restarted-automatically
死循环导致的，究其原因可能是因为innodb_buffer_size配置有问题，系统硬件内存是30G，buffer_size配置的是28G，建议rein下次导数据的时候先把buffer_size调低，导完之后再调高。
大量数据导入导致mysql自动重启的更多相关文章
- 将excel数据导入到mysql的方法
文本框被键盘遮挡到了,不会再获取焦点的时候被顶到键盘顶部.解决方案:设置A的Position为绝对定位absolute即可,其他几种定位方式未测试,但是不能是fixed ,正是因为这种定位方式,导致它 ...
- 使用Python将Excel中的数据导入到MySQL
使用Python将Excel中的数据导入到MySQL 工具 Python 2.7 xlrd MySQLdb 安装 Python 对于不同的系统安装方式不同,Windows平台有exe安装包,Ubunt ...
- 用JDBC把Excel中的数据导入到Mysql数据库中
步骤:0.在Mysql数据库中先建好table 1.从Excel表格读数据 2.用JDBC连接Mysql数据库 3.把读出的数据导入到Mysql数据库的相应表中 其中,步骤0的table我是先在Mys ...
- talend 将hbase中数据导入到mysql中
首先,解决talend连接hbase的问题: 公司使用的机器是HDP2.2的机器,上面配置好Hbase服务,在集群的/etc/hbase/conf/hbase-site.xml下,有如下配置: < ...
- SQLSERVER数据导入到MYSQL
SQLSERVER数据导入到MYSQL http://hi.baidu.com/luck001221/item/cb4462299f9ea79ab73263d2?qq-pf-to=pcqq.group ...
- shell编程系列24--shell操作数据库实战之利用shell脚本将文本数据导入到mysql中
shell编程系列24--shell操作数据库实战之利用shell脚本将文本数据导入到mysql中 利用shell脚本将文本数据导入到mysql中 需求1:处理文本中的数据,将文本中的数据插入到mys ...
- 利用workbench将excel数据导入到MySQL中
数据导入的方式(csv,txt之类) 在MySQL中,数据导入的方式有两种方式 通过第三方客户端导入(workbench) 通过mysql client 方式导入 通过mysql clinet的导入方 ...
- java大批量数据导入（MySQL）
© 版权声明:本文为博主原创文章,转载请注明出处 最近同事碰到大批量数据导入问题,因此也关注了一下.大批量数据导入主要存在两点问题:内存溢出和导入速率慢. 内存溢出:将文件中的数据全部取出放在集合中, ...
- sqlserver 中数据导入到mysql中的方法以及注意事项
数据导入从sql server 到mysql (将数据以文本格式从sqlserver中导出,注意编码格式,再将文本文件导入mysql中): 1.若从slqserver中导出的表中不包含中文采用: bc ...
随机推荐
- VBA数组
基础用法,这篇写的不错:https://www.cnblogs.com/wuzhiblog/p/7137578.html
- Fatal error: Maximum execution time of 30 seconds exceeded in
Fatal error: Maximum execution time of 30 seconds exceeded in C:\Program Files\Apache Software Found ...
- 怎么在windows7系统我的电脑中添加快捷方式
在我的电脑中添加一些快捷方式,这样不用每次在开始菜单中去找了 2 选择开始菜单运行 3 输入:Regedit命令 4 进入路径地址:HKEY_LOCAL_MACHINE\SOFTWARE\Micros ...
- 利用Teensy进行EM410x卡模拟以及暴力破解EM410X类门禁系统可行性猜想
前些天Open入手了Teensy++2.0模拟EM410X,并且针对EM410X的门禁进行了一次暴力破解测试,以下就是相关代码以及内容. 什么是低频?什么是EM410x? 首先,我不得不再次提一下那些 ...
- Centos7.4 建站系统和软件版本搭配
一.系统和软件版本搭配 版本: 1.1.2 类型: 建站系统 适用于: Centos7.4 64bit 集成软件版本: nginx_versi=1.12.2 PHP=7.1.13 (已提供提供Zend ...
- nagios监控redis
nagios是非常强大的监控工具,但是它本身没有监控redis的功能 但是网上有很多大神写了监控redis的插件,比较热门的使用perl写的check_redis.pl 但是由于我们监控mongodb ...
- 50行代码实现缓存，JAVA内存模型原理
遇见这样的高人怎么办??下面是一个简单缓存的实现,相当牛叉!自己看吧,只有50行代码. 摘自:http://www.oschina.net/code/snippet_55577_3887 import ...
- Druid对比Cassandra
不是Cassandra专家, 如果描绘有错误, 请通过邮件列表或者其他方式告知, 我们会修正. Druid对扫描和聚合做了很大程度的优化, 不用提前计算就支持任意的向下钻取, 还可以实时摄入流式数据并 ...
- Unity3D教程宝典之Web服务器篇:(第三讲)PHP的Hello World
转载自风宇冲Unity3D教程学院 引言:PHP是比较简单的编程语言,即使没接触过的也可以现学现用.PHP教程文档PHP100视频教程 Unity接 ...
- Android 4.4 Kitkat Phone工作流程浅析(七)__来电(MT)响铃流程
本文来自http://blog.csdn.net/yihongyuelan 转载请务必注明出处 本文代码以MTK平台Android 4.4为分析对象,与Google原生AOSP有些许差异,请读者知悉. ...