昨天晚上第十款做数据库迁移，数据库版本：Version: '5.1.61'，数据量27G左右

message报错信息如下：

Mar  :: VM_163_210_tlinux kernel: [18465684.480438] TsysProxy invoked oom-killer: gfp_mask=0x201da, order=, oom_adj=

Mar  :: VM_163_210_tlinux kernel: [18465684.480444] Pid: , comm: TsysProxy Not tainted 2.6.32.57-tlinux_xenU-1.1.rc10-default #

Mar  :: VM_163_210_tlinux kernel: [18465684.480447] Call Trace:

Mar  :: VM_163_210_tlinux kernel: [18465684.480456]  [<ffffffff810904ab>] oom_kill_process.clone.+0xab/0x270

Mar  :: VM_163_210_tlinux kernel: [18465684.480459]  [<ffffffff81090788>] __out_of_memory+0x118/0x180

Mar  :: VM_163_210_tlinux kernel: [18465684.480462]  [<ffffffff81090872>] out_of_memory+0x82/0x170

Mar  :: VM_163_210_tlinux kernel: [18465684.480467]  [<ffffffff81098b40>] ? isolate_pages_global+0x0/0x230

Mar  :: VM_163_210_tlinux kernel: [18465684.480470]  [<ffffffff81094f09>] __alloc_pages_nodemask+0x629/0x640

Mar  :: VM_163_210_tlinux kernel: [18465684.480476]  [<ffffffff810bf376>] alloc_pages_current+0x76/0xd0

Mar  :: VM_163_210_tlinux kernel: [18465684.480481]  [<ffffffff8108db8b>] __page_cache_alloc+0xb/0x10

Mar  :: VM_163_210_tlinux kernel: [18465684.480484]  [<ffffffff810969e1>] __do_page_cache_readahead+0xc1/0x210

Mar  :: VM_163_210_tlinux kernel: [18465684.480487]  [<ffffffff81096b4c>] ra_submit+0x1c/0x20

Mar  :: VM_163_210_tlinux kernel: [18465684.480490]  [<ffffffff8108e382>] filemap_fault+0x3f2/0x440

Mar  :: VM_163_210_tlinux kernel: [18465684.480493]  [<ffffffff810a480f>] __do_fault+0x4f/0x4e0

Mar  :: VM_163_210_tlinux kernel: [18465684.480500]  [<ffffffff817a7266>] ? schedule_hrtimeout_range+0xb6/0x130

Mar  :: VM_163_210_tlinux kernel: [18465684.480503]  [<ffffffff810a6de8>] handle_mm_fault+0x1b8/0x9e0

Mar  :: VM_163_210_tlinux kernel: [18465684.480507]  [<ffffffff81048e50>] ? default_wake_function+0x0/0x10

Mar  :: VM_163_210_tlinux kernel: [18465684.480512]  [<ffffffff810e3954>] ? mntput_no_expire+0x24/0xf0

Mar  :: VM_163_210_tlinux kernel: [18465684.480517]  [<ffffffff81034460>] do_page_fault+0x110/0x2e0

Mar  :: VM_163_210_tlinux kernel: [18465684.480520]  [<ffffffff817a87d5>] page_fault+0x25/0x30

Mar  :: VM_163_210_tlinux kernel: [18465684.480521] Mem-Info:

Mar  :: VM_163_210_tlinux kernel: [18465684.480523] Node  DMA per-cpu:

Mar  :: VM_163_210_tlinux kernel: [18465684.480525] CPU    : hi:    , btch:    usd:

Mar  :: VM_163_210_tlinux kernel: [18465684.480527] CPU    : hi:    , btch:    usd:

Mar  :: VM_163_210_tlinux kernel: [18465684.480529] CPU    : hi:    , btch:    usd:

Mar  :: VM_163_210_tlinux kernel: [18465684.480530] CPU    : hi:    , btch:    usd:

Mar  :: VM_163_210_tlinux kernel: [18465684.480532] Node  DMA32 per-cpu:

Mar  :: VM_163_210_tlinux kernel: [18465684.480534] CPU    : hi:  , btch:   usd:

Mar  :: VM_163_210_tlinux kernel: [18465684.480535] CPU    : hi:  , btch:   usd:

Mar  :: VM_163_210_tlinux kernel: [18465684.480537] CPU    : hi:  , btch:   usd:

Mar  :: VM_163_210_tlinux kernel: [18465684.480539] CPU    : hi:  , btch:   usd:

Mar  :: VM_163_210_tlinux kernel: [18465684.480540] Node  Normal per-cpu:

Mar  :: VM_163_210_tlinux kernel: [18465684.480542] CPU    : hi:  , btch:   usd:

Mar  :: VM_163_210_tlinux kernel: [18465684.480544] CPU    : hi:  , btch:   usd:

Mar  :: VM_163_210_tlinux kernel: [18465684.480545] CPU    : hi:  , btch:   usd:

Mar  :: VM_163_210_tlinux kernel: [18465684.480547] CPU    : hi:  , btch:   usd:

Mar  :: VM_163_210_tlinux kernel: [18465684.480551] active_anon: inactive_anon: isolated_anon:

Mar  :: VM_163_210_tlinux kernel: [18465684.480552]  active_file: inactive_file: isolated_file:

Mar  :: VM_163_210_tlinux kernel: [18465684.480553]  unevictable: dirty: writeback: unstable:

Mar  :: VM_163_210_tlinux kernel: [18465684.480554]  free: slab_reclaimable: slab_unreclaimable:

Mar  :: VM_163_210_tlinux kernel: [18465684.480555]  mapped: shmem: pagetables: bounce:

Mar  :: VM_163_210_tlinux kernel: [18465684.480557] Node  DMA free:15836kB min:8kB low:8kB high:12kB active_anon:0kB inactive_anon:0kB active_file:0kB inactive_file:0kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:15260kB mlocked:0kB dirty:0kB writeback:0kB mapped:0kB shmem:0kB slab_reclaimable:0kB slab_unreclaimable:0kB kernel_stack:0kB pagetables:0kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned: all_unreclaimable? no

Mar  :: VM_163_210_tlinux kernel: [18465684.480565] lowmem_reserve[]:

Mar  :: VM_163_210_tlinux kernel: [18465684.480569] Node  DMA32 free:105924kB min:2804kB low:3504kB high:4204kB active_anon:2740028kB inactive_anon:547884kB active_file:56kB inactive_file:92kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:3858656kB mlocked:0kB dirty:0kB writeback:0kB mapped:1356kB shmem:1068kB slab_reclaimable:1848kB slab_unreclaimable:2584kB kernel_stack:1080kB pagetables:7140kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned: all_unreclaimable? no

Mar  :: VM_163_210_tlinux kernel: [18465684.480578] lowmem_reserve[]:

Mar  :: VM_163_210_tlinux kernel: [18465684.480580] Node  Normal free:19200kB min:19200kB low:24000kB high:28800kB active_anon:24942124kB inactive_anon:1662984kB active_file:512kB inactive_file:764kB unevictable:0kB isolated(anon):0kB isolated(file):128kB present:26421600kB mlocked:0kB dirty:0kB writeback:0kB mapped:9268kB shmem:8396kB slab_reclaimable:13232kB slab_unreclaimable:12120kB kernel_stack:1424kB pagetables:58280kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned: all_unreclaimable? no

Mar  :: VM_163_210_tlinux kernel: [18465684.480589] lowmem_reserve[]:

Mar  :: VM_163_210_tlinux kernel: [18465684.480592] Node  DMA: *4kB *8kB *16kB *32kB *64kB *128kB *256kB *512kB *1024kB *2048kB *4096kB = 15836kB

Mar  :: VM_163_210_tlinux kernel: [18465684.480599] Node  DMA32: *4kB *8kB *16kB *32kB *64kB *128kB *256kB *512kB *1024kB *2048kB *4096kB = 106380kB

Mar  :: VM_163_210_tlinux kernel: [18465684.480606] Node  Normal: *4kB *8kB *16kB *32kB *64kB *128kB *256kB *512kB *1024kB *2048kB *4096kB = 19460kB

Mar  :: VM_163_210_tlinux kernel: [18465684.480613]  total pagecache pages

Mar  :: VM_163_210_tlinux kernel: [18465684.480615]  pages in swap cache

Mar  :: VM_163_210_tlinux kernel: [18465684.480617] Swap cache stats: add , delete , find /

Mar  :: VM_163_210_tlinux kernel: [18465684.480618] Free swap  = 0kB

Mar  :: VM_163_210_tlinux kernel: [18465684.480619] Total swap = 2097144kB

Mar  :: VM_163_210_tlinux kernel: [18465684.567838]  pages RAM

Mar  :: VM_163_210_tlinux kernel: [18465684.567841]  pages reserved

Mar  :: VM_163_210_tlinux kernel: [18465684.567842]  pages shared

Mar  :: VM_163_210_tlinux kernel: [18465684.567843]  pages non-shared

Mar  :: VM_163_210_tlinux kernel: [18465684.567848] Out of memory: kill process  (mysqld_safe) score  or a child

Mar  :: VM_163_210_tlinux kernel: [18465684.567851] Killed process  (mysqld) vsz:34419948kB, anon-rss:29649368kB, file-rss:460kB

Mar  :: VM_163_210_tlinux kernel: [18469067.168641] TCP: Possible SYN flooding on port . Sending cookies.  Check SNMP counters.

Mar  :: VM_163_210_tlinux nslcd[]: [5c31df] ldap_result() failed: Can't contact LDAP server

Mar  :: VM_163_210_tlinux nslcd[]: [5c31df] ldap_abandon() failed to abandon search: Other (e.g., implementation specific) error

mysql error log 如下：

Version: '5.1.61'  socket: '/tmp/mysql.sock'  port:   Source distribution

 :: mysqld_safe Number of processes running now:

 :: mysqld_safe mysqld restarted

参考stack-flow上面的分析：http://stackoverflow.com/questions/22522307/mysqld-safe-mysqld-restarted-automatically

死循环导致的，究其原因可能是因为innodb_buffer_size配置有问题，系统硬件内存是30G，buffer_size配置的是28G，建议rein下次导数据的时候先把buffer_size调低，导完之后再调高。

大量数据导入导致mysql自动重启的更多相关文章

  1. 将excel数据导入到mysql的方法

    文本框被键盘遮挡到了,不会再获取焦点的时候被顶到键盘顶部.解决方案:设置A的Position为绝对定位absolute即可,其他几种定位方式未测试,但是不能是fixed ,正是因为这种定位方式,导致它 ...

  2. 使用Python将Excel中的数据导入到MySQL

    使用Python将Excel中的数据导入到MySQL 工具 Python 2.7 xlrd MySQLdb 安装 Python 对于不同的系统安装方式不同,Windows平台有exe安装包,Ubunt ...

  3. 用JDBC把Excel中的数据导入到Mysql数据库中

    步骤:0.在Mysql数据库中先建好table 1.从Excel表格读数据 2.用JDBC连接Mysql数据库 3.把读出的数据导入到Mysql数据库的相应表中 其中,步骤0的table我是先在Mys ...

  4. talend 将hbase中数据导入到mysql中

    首先,解决talend连接hbase的问题: 公司使用的机器是HDP2.2的机器,上面配置好Hbase服务,在集群的/etc/hbase/conf/hbase-site.xml下,有如下配置: < ...

  5. SQLSERVER数据导入到MYSQL

    SQLSERVER数据导入到MYSQL http://hi.baidu.com/luck001221/item/cb4462299f9ea79ab73263d2?qq-pf-to=pcqq.group ...

  6. shell编程系列24--shell操作数据库实战之利用shell脚本将文本数据导入到mysql中

    shell编程系列24--shell操作数据库实战之利用shell脚本将文本数据导入到mysql中 利用shell脚本将文本数据导入到mysql中 需求1:处理文本中的数据,将文本中的数据插入到mys ...

  7. 利用workbench将excel数据导入到MySQL中

    数据导入的方式(csv,txt之类) 在MySQL中,数据导入的方式有两种方式 通过第三方客户端导入(workbench) 通过mysql client 方式导入 通过mysql clinet的导入方 ...

  8. java大批量数据导入（MySQL）

    © 版权声明:本文为博主原创文章,转载请注明出处 最近同事碰到大批量数据导入问题,因此也关注了一下.大批量数据导入主要存在两点问题:内存溢出和导入速率慢. 内存溢出:将文件中的数据全部取出放在集合中, ...

  9. sqlserver 中数据导入到mysql中的方法以及注意事项

    数据导入从sql server 到mysql (将数据以文本格式从sqlserver中导出,注意编码格式,再将文本文件导入mysql中): 1.若从slqserver中导出的表中不包含中文采用: bc ...

随机推荐

  1. Win7用IIS发布网站系统 部署项目

    1.首先确保系统上已经安装IIS [控制面板]→[程序]→[程序和功能]→[打开或关闭Windows功能] 选中Internet 信息服务下面的所有选项,点击确定. 2. 获得发布好的程序文件 若没有 ...

  2. Kafka查看偏移量报错：WARN WARNING: ConsumerOffsetChecker is deprecated and will be dropped in releases following 0.9.0. Use ConsumerGroupCommand instead.

    Kafka0.9版本后,命令ConsumerOffsetChecker已弃用,用新的命令来查. // 列表 bin/kafka-consumer-groups.sh --zookeeper local ...

  3. SVN服务的部署及使用

      环境说明 系统版本     CentOS 7.2 x86_64   SVN是Subversion的简称,是一个开放源代码的版本控制系统,相较于RCS.CVS,它采用了分支管理系统,它的设计目标就是 ...

  4. angular 学习理解笔记

    原文:https://github.com/eoinkelly/notes/blob/master/angular/book-building-web-apps-w-angular/angular.m ...

  5. Node.js meitulu图片批量下载爬虫1.02版

    以前版本需要先查看网页源码,然后肉眼找到图片数量和子目录,虽说不费事,但多少有点不方便. 于是修改了一下,用cheerio自己去找找到图片数量和子目录,只要修改页面地址就行了.至此社会又前进了一步. ...

  6. 动态创建的文本框想要加上jQuery的datepicker功能变成日期选择控件该怎么办？

    通常页面输入控件想得到日期选择功能,借助jQuery是这样实现的: 1.载入css和js <script src="jqueryui/jquery-ui.js" type=& ...

  7. 在Dell XPS 13安装WIN10和ubuntu双系统

    新入了Dell的XPS 13超级本,之所以买这个本子,就是看中它轻便且续航持久.这款本子也是为数不多的能够和苹果的13'' mac book air一较高下的本子.在重量上,占地面积和综合性价比上,还 ...

  8. 利用问答机器人API开发制作聊天类App

    缘起 很久没写项目了,所以单纯的想练练手,正好看到有问答机器人的接口,想到之前也做过聊天项目,为什么不实验一下呢.当然也是简单调用接口的项目,并没有真正的完成问答的算法等等.业余项目,功能不齐全,只实 ...

  9. 使用history.pushState()和popstate事件实现AJAX的前进、后退功能

    上一篇文章中.我们使用location.hash来模拟ajax的前进后退功能.使用location.hash存在以下几个问题: 1.使用location.hash会导致地址栏的url发生变化.用户体验 ...

  10. 36氪Plus消息：贷款组合推荐工具“钱小二”已获数百万天使轮融资

    根据"钱小二"在创业者社区36氪plus上的更新信息,该团队已获得数百万天使轮融资,投资方及投资时间不明. "钱小二"是一个贷款搜索 + 贷款组合推荐平台,目标 ...