场景：领导电话通知，我们的主站宕机了，到家后从另外一台机器上ssh一直处于等待状态，开始怀疑机器的负载比较高，
后查看监控机器，发现网卡、cpu、nginx连接数.....通通都没有数据了，显然不是负载高度问题了，应该是机器死机了，立刻通过ipmi重启机器
重启机器后，机器正常！
其实这个机器都正常运行大半年了，没啥问题！ 
查询/var/log/messages，发现大量的信息如下：

点击(此处)折叠或打开

  1. Mar 12 11:15:04 hy1 kernel: php-fpm: page allocation failure. order:1, mode:0x20
  2. Mar 12 11:15:04 hy1 kernel: php-fpm: page allocation failure. order:1, mode:0x20
  3. Mar 12 11:15:04 hy1 kernel: mysqld: page allocation failure. order:1, mode:0x20
  4. Mar 12 11:15:05 hy1 kernel: nginx: page allocation failure. order:1, mode:0x20
  5. Mar 12 11:15:05 hy1 kernel: nginx: page allocation failure. order:1, mode:0x20
  6. Mar 12 11:15:05 hy1 kernel: mysqld: page allocation failure. order:1, mode:0x20
  7. Mar 12 11:15:05 hy1 kernel: mysqld: page allocation failure. order:1, mode:0x20
  8. Mar 12 11:15:05 hy1 kernel: nginx: page allocation failure. order:1, mode:0x20
  9. Mar 12 11:15:05 hy1 kernel: nginx: page allocation failure. order:1, mode:0x20
  10. Mar 12 11:15:06 hy1 kernel: nginx: page allocation failure. order:1, mode:0x20
  11. Mar 12 11:15:09 hy1 kernel: nginx: page allocation failure. order:1, mode:0x20
  12. Mar 12 11:15:09 hy1 kernel: nginx: page allocation failure. order:1, mode:0x20
  13. Mar 12 11:15:09 hy1 kernel: mysqld: page allocation failure. order:1, mode:0x20
  14. Mar 12 11:15:10 hy1 kernel: mysqld: page allocation failure. order:1, mode:0x20
  15. Mar 12 11:15:11 hy1 kernel: mysqld: page allocation failure. order:1, mode:0x20
  16. Mar 12 11:15:11 hy1 kernel: mysqld: page allocation failure. order:1, mode:0x20
  17. Mar 12 11:15:11 hy1 kernel: mysqld: page allocation failure. order:1, mode:0x20
  18. Mar 12 11:15:11 hy1 kernel: mysqld: page allocation failure. order:1, mode:0x20
  19. Mar 12 11:15:11 hy1 kernel: mysqld: page allocation failure. order:1, mode:0x20
  20. Mar 12 11:17:33 hy1 kernel: swapper: page allocation failure. order:1, mode:0x20
  21. Mar 12 11:17:53 hy1 kernel: swapper: page allocation failure. order:1, mode:0x20
  22. Mar 12 11:17:53 hy1 kernel: swapper: page allocation failure. order:1, mode:0x20
  23. Mar 12 11:17:53 hy1 kernel: swapper: page allocation failure. order:1, mode:0x20
  24. Mar 12 11:17:53 hy1 kernel: swapper: page allocation failure. order:1, mode:0x20
  25. Mar 12 11:17:54 hy1 kernel: swapper: page allocation failure. order:1, mode:0x20
  26. Mar 12 11:17:54 hy1 kernel: swapper: page allocation failure. order:1, mode:0x20
  27. Mar 12 11:17:54 hy1 kernel: swapper: page allocation failure. order:1, mode:0x20

开始怀疑是系统的内存被吃光了，但通过检查监控，发现出问题的时候，内存还有蛮多可以用的！ 当时的内存使用情况，见附件！

后来查到是内核的的一个bug
解决方法如下：
vi /etc/sysctl.conf
写入：
vm.zone_reclaim_mode = 1
sysctl  -p  使其理解生效

原文：http://blog.chinaunix.net/uid-20776139-id-4155388.html

kernel: swapper: page allocation failure. order:1, mode:0x20的更多相关文章

  1. warn_alloc()：page allocation failure问题分析

    关键词:warn_alloc().__GFP_XXX.order.CMA等等. 在内存申请的时候经常会遇到类似“ xxx: page allocation failure: order:10...”类 ...

  2. Mongodb 故障分享 初始化时"errmsg" : "exception: new file allocation failure" 并且长时间处于STARTUP2

    Hello,大家下午好. 近几天的项目有点赶,所以耽误了更新.现在给大家分享下,在安装mongodb的过程中,遇到的故障一则.其实很小白的问题,当时遇到这个问题的时候比较心慌,浪费了很多时间,跟大家分 ...

  3. Allocation Failure

    up vote 8 down vote accepted "Allocation Failure" is a cause of GC cycle to kick. "Al ...

  4. mongodb new file allocation failure

    话说那天正在向mongodb中写入数据,突然就蹦出了 new file allocation failure ,以为是数据有错误,就检查了一番,可没问题啊,看着像是mongo自己的问题,于是百度了一番 ...

  5. System and method to prioritize large memory page allocation in virtualized systems

    The prioritization of large memory page mapping is a function of the access bits in the L1 page tabl ...

  6. linux page allocation and deallocation

      All of the physical pages in the system are described by the mem_map  data structure which is a li ...

  7. linux tcp调优

    Linux TCP Performance Tuning News Linux Performance Tuning Recommended Books Recommended Links Linux ...

  8. [kernel]----理解kswapd的低水位min_free_kbytes

    1. min_free_kbytes 先看官方解释: This is used to force the Linux VM to keep a minimum number of kilobytes ...

  9. [转]Android WiFi 掉线原因分析

    看到一个比较详细的分析wifi断开的文章.收藏一下. 原文: http://blog.csdn.net/chi_wy/article/details/50963279 原因1 ．从Log分析来看,这个 ...

随机推荐

  1. php array key 的存储规则

    刚刚写程序遇到php数组取值的问题,发现字符串和数字取出来的是一样的. key 可以是 integer 或者string.value 可以是任意类型. 此外 key 会有如下的强制转换: 包含有合法整 ...

  2. struts2基础---->自定义拦截器

    这一章,我们开始struts2中拦截器的学习. 自定义拦截器

  3. HTTP/2笔记之消息交换

    前言 无论是HTTP/1.*还是HTTP/2,HTTP的基本语义是不变的,比如方法语义(GET/PUST/PUT/DELETE),状态码(200/404/500等),Range Request,Cac ...

  4. codereviw得到的一些经验

    1.设置display为none的元素,它的背景图依然会被下载.所以最好是等到该元素需要显示时才给他加上相应的有背景图的class. 2.css中虽然ID选择器的优先级比较高,效率也比较高,但灵活性差 ...

  5. 【BZOJ5102】[POI2018]Prawnicy 堆

    [BZOJ5102][POI2018]Prawnicy Description 定义一个区间(l,r)的长度为r-l,空区间的长度为0. 给定数轴上n个区间,请选择其中恰好k个区间,使得交集的长度最大 ...

  6. Hive sql语法详解

      Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构 化的数据文件映射为一张数据库表,并提供完整的SQ ...

  7. ST-LINK使用注意

    利用ST-LINK下载程序注意事项: 1.接线 按照上面图对着自己的开发板连接相应的引脚就可以了. 2.keil5配置 线连接完之后,要对自己的工程进行相关的 配置才能正确进行下载. 首先选择ST-L ...

  8. Windows系统下做定时任务为Oracle数据库每天自动备份

    1.创建备份目录d:\backup, 创建批处理命令Bak.bat,编写备份脚本 ? 1 2 exp user/passwd@orcl DIRECT=Y BUFFER=100000 FILE=D:\b ...

  9. T-SQL数据库备份

    /*1.--得到数据库的文件目录 @dbname 指定要取得目录的数据库名 如果指定的数据不存在,返回安装SQL时设置的默认数据目录 如果指定NULL,则返回默认的SQL备份目录名 */ /*--调用 ...

  10. Cat VS Dog---hdu3829（最大独立集）

      题目链接 题意:有n只猫,有m只狗.现在有P个学生去参观动物园.每个孩子有喜欢的动物和不喜欢的动物.假如他喜欢猫那么他就一定不喜欢狗(反之亦然). 如果一个孩子喜欢一个动物,那么这个动物不会被移除 ...