几台WEB服务器经常宕机，平时运行得好好的，负载也都在2以下，偶尔会突然负高上去就宕机，init 6也无法重启成功

只能echo 'b'>/proc/sysrq-trigger 硬重启才行,dmesg 没发现硬件方面有问题。

从top相关信息来看，每次宕机现象都是系统内核态占用非常高，相关nginx,php-cgi进程虽然不僵死但无法kill

每次宕机都会有kswaped0进程出现，但是从free上来看，内存还是有空闲，swap用得也并不多

top - 22:26:02 up 3 days,  8:06,  1 user,  load average: 15.05, 15.12, 15.09
Tasks: 518 total,  16 running, 502 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.0%us, 87.6%sy,  0.0%ni, 12.3%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16426616k total, 15985652k used,   440964k free,   102232k buffers
Swap: 16386292k total,    22552k used, 16363740k free,  8320464k cached

PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                         
  553 root      20  -5     0    0    0 R 100.9  0.0 115:59.83 kswapd0                                                        
  554 root      20  -5     0    0    0 R 100.9  0.0 115:55.12 kswapd1                                                        
3417 daemon    25   0 90164  48m 1052 R 100.6  0.3 142:19.56 nginx                                                          
3418 daemon    25   0 90840  48m 1048 R 100.6  0.3 143:54.26 nginx                                                          
3422 daemon    25   0 94196  52m 1052 R 100.6  0.3 144:34.68 nginx                                                          
3423 daemon    25   0 85680  43m 1048 R 100.4  0.3 141:31.40 nginx                                                          
3421 daemon    25   0 87720  45m 1056 R 100.1  0.3 143:13.23 nginx                                                          
3419 daemon    25   0 90148  48m 1044 R 99.6  0.3 144:06.64 nginx                                                           
16942 daemon    25   0  440m  55m  33m R 99.6  0.3 106:08.76 php-cgi                                                         
14476 daemon    25   0  432m  55m  33m R 97.3  0.3 102:58.61 php-cgi                                                         
8706 daemon    25   0  432m  60m  37m R 93.7  0.4 103:46.72 php-cgi                                                         
3416 daemon    25   0 88832  47m 1048 R 93.2  0.3 144:04.28 nginx                                                           
7672 daemon    25   0  439m  67m  37m R 82.4  0.4 104:21.30 php-cgi                                                         
8102 daemon    25   0  441m  62m  36m R 59.8  0.4 107:12.30 php-cgi                                                         
3420 daemon    25   0 89760  47m 1056 R 50.1  0.3 143:38.59 nginx                                                           
15963 root      16   0 13008 1428  820 R 22.6  0.0   0:04.34 top                                                             
3428 root      15   0  411m 4300 1172 S  2.1  0.0   2:33.80 php-cgi                                                         
15965 root      18   0 99.6m 1584  908 S  0.8  0.0   0:00.03 crond                                                           
3743 root      15   0 74812 1164  584 S  0.3  0.0   0:00.83 crond                                                           
15964 root      18   0 99.6m 1468  800 D  0.3  0.0   0:00.01 crond

top - 22:26:02 up 3 days,  8:06,  1 user,  load average: 15.05, 15.12, 15.09
Tasks: 518 total,  16 running, 502 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.0%us, 87.6%sy,  0.0%ni, 12.3%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16426616k total, 15985652k used,   440964k free,   102232k buffers
Swap: 16386292k total,    22552k used, 16363740k free,  8320464k cached

PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                         
  553 root      20  -5     0    0    0 R 100.9  0.0 115:59.83 kswapd0                                                        
  554 root      20  -5     0    0    0 R 100.9  0.0 115:55.12 kswapd1                                                        
3417 daemon    25   0 90164  48m 1052 R 100.6  0.3 142:19.56 nginx                                                          
3418 daemon    25   0 90840  48m 1048 R 100.6  0.3 143:54.26 nginx                                                          
3422 daemon    25   0 94196  52m 1052 R 100.6  0.3 144:34.68 nginx                                                          
3423 daemon    25   0 85680  43m 1048 R 100.4  0.3 141:31.40 nginx                                                          
3421 daemon    25   0 87720  45m 1056 R 100.1  0.3 143:13.23 nginx                                                          
3419 daemon    25   0 90148  48m 1044 R 99.6  0.3 144:06.64 nginx                                                           
16942 daemon    25   0  440m  55m  33m R 99.6  0.3 106:08.76 php-cgi                                                         
14476 daemon    25   0  432m  55m  33m R 97.3  0.3 102:58.61 php-cgi                                                         
8706 daemon    25   0  432m  60m  37m R 93.7  0.4 103:46.72 php-cgi                                                         
3416 daemon    25   0 88832  47m 1048 R 93.2  0.3 144:04.28 nginx                                                           
7672 daemon    25   0  439m  67m  37m R 82.4  0.4 104:21.30 php-cgi                                                         
8102 daemon    25   0  441m  62m  36m R 59.8  0.4 107:12.30 php-cgi                                                         
3420 daemon    25   0 89760  47m 1056 R 50.1  0.3 143:38.59 nginx                                                           
15963 root      16   0 13008 1428  820 R 22.6  0.0   0:04.34 top                                                             
3428 root      15   0  411m 4300 1172 S  2.1  0.0   2:33.80 php-cgi                                                         
15965 root      18   0 99.6m 1584  908 S  0.8  0.0   0:00.03 crond                                                           
3743 root      15   0 74812 1164  584 S  0.3  0.0   0:00.83 crond                                                           
15964 root      18   0 99.6m 1468  800 D  0.3  0.0   0:00.01 crond

free信息:

total       used       free     shared    buffers     cached
Mem:      16426616   16245028     181588          0     159248   12046536
-/+ buffers/cache:    4039244   12387372
Swap:     16386292      28980   16357312

sar -r

03:20:01 PM kbmemfree kbmemused  %memused kbbuffers  kbcached kbswpfree kbswpused  %swpused  kbswpcad
09:30:02 PM    268628  16157988     98.36    149268  11969424  16357312     28980      0.18      2644
09:40:02 PM    256492  16170124     98.44    150628  11980476  16357312     28980      0.18      2644
09:50:02 PM    244752  16181864     98.51    152092  11991476  16357312     28980      0.18      2644
10:00:02 PM    233296  16193320     98.58    153516  12002516  16357312     28980      0.18      2644
10:10:02 PM    219404  16207212     98.66    155032  12013568  16357312     28980      0.18      2644
10:20:02 PM    204912  16221704     98.75    156452  12024544  16357312     28980      0.18      2644
10:30:02 PM    193128  16233488     98.82    158008  12037200  16357312     28980      0.18      2644
Average:       588844  15837772     96.42    216781  11964159  16358029     28263      0.17      1420

sar -u
03:20:01 PM       CPU     %user     %nice   %system   %iowait    %steal     %idle
03:30:01 PM       all      8.37      0.00      0.86      0.23      0.00     90.54
03:40:01 PM       all      8.11      0.00      0.79      0.17      0.00     90.93
03:50:01 PM       all      7.22      0.00      0.81      0.23      0.00     91.74
04:00:01 PM       all      7.60      0.00      0.84      0.16      0.00     91.41
04:10:01 PM       all      7.38      0.00      0.82      0.26      0.00     91.53
04:20:01 PM       all      7.12      0.00      0.81      0.27      0.00     91.80
04:30:01 PM       all      7.10      0.00      0.84      0.42      0.00     91.64
04:40:01 PM       all      7.38      0.00      0.83      0.23      0.00     91.55
04:50:01 PM       all      7.20      0.00      0.82      0.17      0.00     91.80
05:00:01 PM       all      7.54      0.00      0.83      0.19      0.00     91.44
05:10:01 PM       all      6.72      0.00      0.76      0.24      0.00     92.28
05:20:01 PM       all      6.98      0.00      0.79      0.13      0.00     92.09
05:30:02 PM       all      7.18      0.00      0.80      0.16      0.00     91.87
05:40:01 PM       all      7.07      0.00      0.77      0.15      0.00     92.01
05:50:01 PM       all      7.75      0.00      0.88      0.17      0.00     91.20
06:00:01 PM       all      7.46      0.00      0.85      0.25      0.00     91.43
06:10:01 PM       all      7.58      0.00      0.88      0.19      0.00     91.34
06:20:01 PM       all      7.81      0.00      0.88      0.28      0.00     91.03
06:30:01 PM       all      7.90      0.00      0.87      0.22      0.00     91.00
06:40:01 PM       all      7.20      0.00      0.86      0.22      0.00     91.72
06:50:01 PM       all      7.34      0.00      0.90      0.25      0.00     91.51
07:00:01 PM       all      7.94      0.00      0.96      0.23      0.00     90.87
07:10:01 PM       all      8.14      0.00      0.97      0.29      0.00     90.59
07:20:01 PM       all      8.23      0.00      0.97      0.41      0.00     90.39
07:30:01 PM       all      8.12      0.00      0.97      0.30      0.00     90.61
07:40:01 PM       all      7.77      0.00      0.90      0.30      0.00     91.03
07:50:01 PM       all      7.97      0.00      0.92      0.17      0.00     90.94
08:00:01 PM       all      8.44      0.00      1.03      0.43      0.00     90.10
08:10:01 PM       all      7.90      0.00      0.95      0.51      0.00     90.64
08:20:01 PM       all      8.31      0.00      1.03      0.18      0.00     90.48
08:30:01 PM       all      8.19      0.00      0.98      0.29      0.00     90.54
08:40:01 PM       all      8.88      0.00      1.06      0.27      0.00     89.79
08:50:01 PM       all     11.45      0.00      1.39      0.35      0.00     86.81
09:00:01 PM       all     11.67      0.00      1.44      0.48      0.00     86.41
09:10:02 PM       all      0.92      0.00     91.23      0.49      0.00      7.36
09:20:02 PM       all      0.01      0.00     99.88      0.00      0.00      0.11
09:30:02 PM       all      0.01      0.00     99.42      0.00      0.00      0.57
09:40:02 PM       all      0.01      0.00     98.05      0.00      0.00      1.94
09:50:02 PM       all      0.01      0.00     99.31      0.00      0.00      0.68
10:00:02 PM       all      0.01      0.00     99.83      0.00      0.00      0.15
10:10:02 PM       all      0.01      0.00     99.05      0.00      0.00      0.94
10:20:02 PM       all      0.01      0.00     99.69      0.00      0.00      0.30
10:30:02 PM       all      0.01      0.00     99.75      0.00      0.00      0.24
Average:          all      4.86      0.00      7.11      0.16      0.00     87.87

系统、nginx、php-fpm相关信息
系统:
cat /etc/issue
CentOS release 5.5 (Final)
Kernel \r on an \m

nginx:
/usr/local/nginx/sbin/nginx -V
nginx version: nginx/0.8.53
built by gcc 4.1.2 20080704 (Red Hat 4.1.2-50)
TLS SNI support disabled
configure arguments: --user= --group= --prefix=/usr/local/nginx --with-http_stub_status_module --with-http_ssl_module --with-http_sub_module --with-md5=/usr/lib --with-sha1=/usr/lib --with-http_gzip_static_module

php -v
PHP 5.2.17p1 with Suhosin-Patch 0.9.7 (cli) (built: Jan  7 2012 15:14:25) 
Copyright (c) 1997-2009 The PHP Group
Zend Engine v2.2.0, Copyright (c) 1998-2010 Zend Technologies
    with eAccelerator v0.9.6.1, Copyright (c) 2004-2010 eAccelerator, by eAccelerator

几台WEB经常宕机，求分析原因的更多相关文章

  1. ORA-04031错误导致宕机案例分析

    今天遇到一起ORACLE数据库宕机案例,下面是对这起数据库宕机案例的原因进行分析.解读.分析过程中顺便记录一下这个案例的前因后果,攒点经验值,培养一下分析.解决问题的能力. 案例环境:   操作系统 ...

  2. Keepalived 双机web服务宕机检测切换系统软件

    简介 Keepalived的作用是检测web服务器的状态,如果有一台web服务器死机,或工作出现故障,Keepalived将检测到,并将有故障的web服务器从系统中剔除,当web服务器工作正常后Kee ...

  3. 惊魂web应用宕机记一次网站的紧急恢复

    这次网站的故障出现的比较突然,没有任何防备,有种突如其来的感觉.这是一台阿里云服务器,采用wdcp的nginx+apache+mysql的方式运行.一位同事在对web目录进行压缩后,由于web目录有很 ...

  4. MySQL Bug导致异常宕机的分析流程

    原文链接:http://click.aliyun.com/m/42521/ 摘要: 本文主要通过一个bug来记录一下如何分析一个MySQL bug的崩溃信息. 版本:Percona 5.7.17-11 ...

  5. MySQL - 高可用性：少宕机即高可用？

    我们之前了解了复制.扩展性,接下来就让我们来了解可用性.归根到底,高可用性就意味着 "更少的宕机时间". 老规矩,讨论一个名词,首先要给它下个定义,那么什么是可用性? 1 什么是可 ...

  6. HBase–RegionServer宕机恢复原理

    Region Server宕机总述 HBase一个很大的特色是扩展性极其友好,可以通过简单地加机器实现集群规模的线性扩展,而且机器的配置并不需要太好,通过大量廉价机器代替价格昂贵的高性能机器.但也正因 ...

  7. [文章]Linux宕机故障分析案例

    [文章]Linux宕机故障分析案例 已采纳 收藏  0  1669 0 马化辉 2018-07-01发布 背景 在Linux系统环境下,服务器宕机发生的频率比较小,但是不少工程师或多或少都会遇到这 ...

  8. 网络流量分析——NPMD关注IT运维、识别宕机和运行不佳进行性能优化。智能化分析是关键-主动发现业务运行异常。科来做APT相关的安全分析

    科来 做流量分析,同时也做了一些安全分析(偏APT)——参考其官网:http://www.colasoft.com.cn/cases-and-application/network-security- ...

  9. Solr4.8.0源码分析(26)之Recovery失败造成的宕机原因分析

    最近在公司做SolrCloud的容灾测试,刚好碰到了一个比较蛋疼的问题,跟SolrCloud的Recovery和leader选举有关,正好拿出来分析下. 现象是这样的:比如我有一台3个shard的So ...

随机推荐

  1. 21.根据hive绑定数据统计计算保存到hive表中

    创建upflow表 create external table mydb2.upflow (ip string,sum string) row format delimited fields term ...

  2. IDEA安装Git

    1.下载Git 官方地址为:https://git-scm.com/download/win 2.下载完之后,双击安装 3.选择安装目录 4.选择组件 5.开始菜单目录名设置 6.选择使用命令行环境 ...

  3. SQLite基础-7.子句(一)

    目录 SQLite子句(一) 1. WHERE子句 2. LIKE子句 3. GLOB 子句 4. Oreder By 子句 SQLite子句(一) 1. WHERE子句 WHERE 子句后面跟着条件 ...

  4. ARST第二周打卡

    Algorithm : 做一个 leetcode 的算法题 题目:一个无序数组里有99个不重复正整数,范围从1到100,唯独缺少一个整数.如何找出这个缺失的整数? int FindOneMissNum ...

  5. VC++2017关于项目出现"const char *" 类型的实参与 "char *" 类型的形参不兼容错误的解决方法

    C++项目中经常会定义如下形式的字符串: char *texts[] = { "1. Open Account", "2. To Deposit Money", ...

  6. 【hash】A Horrible Poem

    [题目链接] # 10038. 「一本通 2.1 练习 4」A Horrible Poem [参考博客] A Horrible Poem (字符串hash+数论) [题目描述] 给出一个由小写英文字母 ...

  7. charindex函数的用法

    例一: CustomName包含客户的First Name和Last Name,它们之间被一个空格隔开.我们用CHARINDX函数确定两个名字中间空格的位置.通过这个方法,我们可以分析ContactN ...

  8. ELK-全过程搭建

    环境说明:软件包我都 给你们放/usr/local/src/elk目录下安装目录都放在/usr/local/下数据都放在/data0/elk/目录下日志都放在/data0/logs/elk目录下系统 ...

  9. MySQL的简介、启动及其DDL

    MySQL的各项配置: 默认会启用TCP/IP网络: 默认客户端/服务器端口:3306: 将数据库的BIN目录写入Windows的的path环境变量: 默认不允许root用户在其他机器上远程登录: M ...

  10. hype-v上centos7部署高可用kubernetes集群实践

    概述 在上一篇中已经实践了 非高可用的bubernetes集群的实践 普通的k8s集群当work node 故障时是高可用的,但是master node故障时将会发生灾难,因为k8s api serv ...