几台WEB经常宕机，求分析原因
几台WEB服务器经常宕机，平时运行得好好的，负载也都在2以下，偶尔会突然负高上去就宕机，init 6也无法重启成功
只能echo 'b'>/proc/sysrq-trigger 硬重启才行,dmesg 没发现硬件方面有问题。
从top相关信息来看，每次宕机现象都是系统内核态占用非常高，相关nginx,php-cgi进程虽然不僵死但无法kill
每次宕机都会有kswaped0进程出现，但是从free上来看，内存还是有空闲，swap用得也并不多
top - 22:26:02 up 3 days, 8:06, 1 user, load average: 15.05, 15.12, 15.09
Tasks: 518 total, 16 running, 502 sleeping, 0 stopped, 0 zombie
Cpu(s): 0.0%us, 87.6%sy, 0.0%ni, 12.3%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 16426616k total, 15985652k used, 440964k free, 102232k buffers
Swap: 16386292k total, 22552k used, 16363740k free, 8320464k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
553 root 20 -5 0 0 0 R 100.9 0.0 115:59.83 kswapd0
554 root 20 -5 0 0 0 R 100.9 0.0 115:55.12 kswapd1
3417 daemon 25 0 90164 48m 1052 R 100.6 0.3 142:19.56 nginx
3418 daemon 25 0 90840 48m 1048 R 100.6 0.3 143:54.26 nginx
3422 daemon 25 0 94196 52m 1052 R 100.6 0.3 144:34.68 nginx
3423 daemon 25 0 85680 43m 1048 R 100.4 0.3 141:31.40 nginx
3421 daemon 25 0 87720 45m 1056 R 100.1 0.3 143:13.23 nginx
3419 daemon 25 0 90148 48m 1044 R 99.6 0.3 144:06.64 nginx
16942 daemon 25 0 440m 55m 33m R 99.6 0.3 106:08.76 php-cgi
14476 daemon 25 0 432m 55m 33m R 97.3 0.3 102:58.61 php-cgi
8706 daemon 25 0 432m 60m 37m R 93.7 0.4 103:46.72 php-cgi
3416 daemon 25 0 88832 47m 1048 R 93.2 0.3 144:04.28 nginx
7672 daemon 25 0 439m 67m 37m R 82.4 0.4 104:21.30 php-cgi
8102 daemon 25 0 441m 62m 36m R 59.8 0.4 107:12.30 php-cgi
3420 daemon 25 0 89760 47m 1056 R 50.1 0.3 143:38.59 nginx
15963 root 16 0 13008 1428 820 R 22.6 0.0 0:04.34 top
3428 root 15 0 411m 4300 1172 S 2.1 0.0 2:33.80 php-cgi
15965 root 18 0 99.6m 1584 908 S 0.8 0.0 0:00.03 crond
3743 root 15 0 74812 1164 584 S 0.3 0.0 0:00.83 crond
15964 root 18 0 99.6m 1468 800 D 0.3 0.0 0:00.01 crond
top - 22:26:02 up 3 days, 8:06, 1 user, load average: 15.05, 15.12, 15.09
Tasks: 518 total, 16 running, 502 sleeping, 0 stopped, 0 zombie
Cpu(s): 0.0%us, 87.6%sy, 0.0%ni, 12.3%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 16426616k total, 15985652k used, 440964k free, 102232k buffers
Swap: 16386292k total, 22552k used, 16363740k free, 8320464k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
553 root 20 -5 0 0 0 R 100.9 0.0 115:59.83 kswapd0
554 root 20 -5 0 0 0 R 100.9 0.0 115:55.12 kswapd1
3417 daemon 25 0 90164 48m 1052 R 100.6 0.3 142:19.56 nginx
3418 daemon 25 0 90840 48m 1048 R 100.6 0.3 143:54.26 nginx
3422 daemon 25 0 94196 52m 1052 R 100.6 0.3 144:34.68 nginx
3423 daemon 25 0 85680 43m 1048 R 100.4 0.3 141:31.40 nginx
3421 daemon 25 0 87720 45m 1056 R 100.1 0.3 143:13.23 nginx
3419 daemon 25 0 90148 48m 1044 R 99.6 0.3 144:06.64 nginx
16942 daemon 25 0 440m 55m 33m R 99.6 0.3 106:08.76 php-cgi
14476 daemon 25 0 432m 55m 33m R 97.3 0.3 102:58.61 php-cgi
8706 daemon 25 0 432m 60m 37m R 93.7 0.4 103:46.72 php-cgi
3416 daemon 25 0 88832 47m 1048 R 93.2 0.3 144:04.28 nginx
7672 daemon 25 0 439m 67m 37m R 82.4 0.4 104:21.30 php-cgi
8102 daemon 25 0 441m 62m 36m R 59.8 0.4 107:12.30 php-cgi
3420 daemon 25 0 89760 47m 1056 R 50.1 0.3 143:38.59 nginx
15963 root 16 0 13008 1428 820 R 22.6 0.0 0:04.34 top
3428 root 15 0 411m 4300 1172 S 2.1 0.0 2:33.80 php-cgi
15965 root 18 0 99.6m 1584 908 S 0.8 0.0 0:00.03 crond
3743 root 15 0 74812 1164 584 S 0.3 0.0 0:00.83 crond
15964 root 18 0 99.6m 1468 800 D 0.3 0.0 0:00.01 crond
free信息:
total used free shared buffers cached
Mem: 16426616 16245028 181588 0 159248 12046536
-/+ buffers/cache: 4039244 12387372
Swap: 16386292 28980 16357312
sar -r
03:20:01 PM kbmemfree kbmemused %memused kbbuffers kbcached kbswpfree kbswpused %swpused kbswpcad
09:30:02 PM 268628 16157988 98.36 149268 11969424 16357312 28980 0.18 2644
09:40:02 PM 256492 16170124 98.44 150628 11980476 16357312 28980 0.18 2644
09:50:02 PM 244752 16181864 98.51 152092 11991476 16357312 28980 0.18 2644
10:00:02 PM 233296 16193320 98.58 153516 12002516 16357312 28980 0.18 2644
10:10:02 PM 219404 16207212 98.66 155032 12013568 16357312 28980 0.18 2644
10:20:02 PM 204912 16221704 98.75 156452 12024544 16357312 28980 0.18 2644
10:30:02 PM 193128 16233488 98.82 158008 12037200 16357312 28980 0.18 2644
Average: 588844 15837772 96.42 216781 11964159 16358029 28263 0.17 1420
sar -u
03:20:01 PM CPU %user %nice %system %iowait %steal %idle
03:30:01 PM all 8.37 0.00 0.86 0.23 0.00 90.54
03:40:01 PM all 8.11 0.00 0.79 0.17 0.00 90.93
03:50:01 PM all 7.22 0.00 0.81 0.23 0.00 91.74
04:00:01 PM all 7.60 0.00 0.84 0.16 0.00 91.41
04:10:01 PM all 7.38 0.00 0.82 0.26 0.00 91.53
04:20:01 PM all 7.12 0.00 0.81 0.27 0.00 91.80
04:30:01 PM all 7.10 0.00 0.84 0.42 0.00 91.64
04:40:01 PM all 7.38 0.00 0.83 0.23 0.00 91.55
04:50:01 PM all 7.20 0.00 0.82 0.17 0.00 91.80
05:00:01 PM all 7.54 0.00 0.83 0.19 0.00 91.44
05:10:01 PM all 6.72 0.00 0.76 0.24 0.00 92.28
05:20:01 PM all 6.98 0.00 0.79 0.13 0.00 92.09
05:30:02 PM all 7.18 0.00 0.80 0.16 0.00 91.87
05:40:01 PM all 7.07 0.00 0.77 0.15 0.00 92.01
05:50:01 PM all 7.75 0.00 0.88 0.17 0.00 91.20
06:00:01 PM all 7.46 0.00 0.85 0.25 0.00 91.43
06:10:01 PM all 7.58 0.00 0.88 0.19 0.00 91.34
06:20:01 PM all 7.81 0.00 0.88 0.28 0.00 91.03
06:30:01 PM all 7.90 0.00 0.87 0.22 0.00 91.00
06:40:01 PM all 7.20 0.00 0.86 0.22 0.00 91.72
06:50:01 PM all 7.34 0.00 0.90 0.25 0.00 91.51
07:00:01 PM all 7.94 0.00 0.96 0.23 0.00 90.87
07:10:01 PM all 8.14 0.00 0.97 0.29 0.00 90.59
07:20:01 PM all 8.23 0.00 0.97 0.41 0.00 90.39
07:30:01 PM all 8.12 0.00 0.97 0.30 0.00 90.61
07:40:01 PM all 7.77 0.00 0.90 0.30 0.00 91.03
07:50:01 PM all 7.97 0.00 0.92 0.17 0.00 90.94
08:00:01 PM all 8.44 0.00 1.03 0.43 0.00 90.10
08:10:01 PM all 7.90 0.00 0.95 0.51 0.00 90.64
08:20:01 PM all 8.31 0.00 1.03 0.18 0.00 90.48
08:30:01 PM all 8.19 0.00 0.98 0.29 0.00 90.54
08:40:01 PM all 8.88 0.00 1.06 0.27 0.00 89.79
08:50:01 PM all 11.45 0.00 1.39 0.35 0.00 86.81
09:00:01 PM all 11.67 0.00 1.44 0.48 0.00 86.41
09:10:02 PM all 0.92 0.00 91.23 0.49 0.00 7.36
09:20:02 PM all 0.01 0.00 99.88 0.00 0.00 0.11
09:30:02 PM all 0.01 0.00 99.42 0.00 0.00 0.57
09:40:02 PM all 0.01 0.00 98.05 0.00 0.00 1.94
09:50:02 PM all 0.01 0.00 99.31 0.00 0.00 0.68
10:00:02 PM all 0.01 0.00 99.83 0.00 0.00 0.15
10:10:02 PM all 0.01 0.00 99.05 0.00 0.00 0.94
10:20:02 PM all 0.01 0.00 99.69 0.00 0.00 0.30
10:30:02 PM all 0.01 0.00 99.75 0.00 0.00 0.24
Average: all 4.86 0.00 7.11 0.16 0.00 87.87
系统、nginx、php-fpm相关信息
系统:
cat /etc/issue
CentOS release 5.5 (Final)
Kernel \r on an \m
nginx:
/usr/local/nginx/sbin/nginx -V
nginx version: nginx/0.8.53
built by gcc 4.1.2 20080704 (Red Hat 4.1.2-50)
TLS SNI support disabled
configure arguments: --user= --group= --prefix=/usr/local/nginx --with-http_stub_status_module --with-http_ssl_module --with-http_sub_module --with-md5=/usr/lib --with-sha1=/usr/lib --with-http_gzip_static_module
php -v
PHP 5.2.17p1 with Suhosin-Patch 0.9.7 (cli) (built: Jan 7 2012 15:14:25)
Copyright (c) 1997-2009 The PHP Group
Zend Engine v2.2.0, Copyright (c) 1998-2010 Zend Technologies
with eAccelerator v0.9.6.1, Copyright (c) 2004-2010 eAccelerator, by eAccelerator
几台WEB经常宕机，求分析原因的更多相关文章
- ORA-04031错误导致宕机案例分析
今天遇到一起ORACLE数据库宕机案例,下面是对这起数据库宕机案例的原因进行分析.解读.分析过程中顺便记录一下这个案例的前因后果,攒点经验值,培养一下分析.解决问题的能力. 案例环境: 操作系统 ...
- Keepalived 双机web服务宕机检测切换系统软件
简介 Keepalived的作用是检测web服务器的状态,如果有一台web服务器死机,或工作出现故障,Keepalived将检测到,并将有故障的web服务器从系统中剔除,当web服务器工作正常后Kee ...
- 惊魂web应用宕机记一次网站的紧急恢复
这次网站的故障出现的比较突然,没有任何防备,有种突如其来的感觉.这是一台阿里云服务器,采用wdcp的nginx+apache+mysql的方式运行.一位同事在对web目录进行压缩后,由于web目录有很 ...
- MySQL Bug导致异常宕机的分析流程
原文链接:http://click.aliyun.com/m/42521/ 摘要: 本文主要通过一个bug来记录一下如何分析一个MySQL bug的崩溃信息. 版本:Percona 5.7.17-11 ...
- MySQL - 高可用性：少宕机即高可用？
我们之前了解了复制.扩展性,接下来就让我们来了解可用性.归根到底,高可用性就意味着 "更少的宕机时间". 老规矩,讨论一个名词,首先要给它下个定义,那么什么是可用性? 1 什么是可 ...
- HBase–RegionServer宕机恢复原理
Region Server宕机总述 HBase一个很大的特色是扩展性极其友好,可以通过简单地加机器实现集群规模的线性扩展,而且机器的配置并不需要太好,通过大量廉价机器代替价格昂贵的高性能机器.但也正因 ...
- [文章]Linux宕机故障分析案例
[文章]Linux宕机故障分析案例 已采纳 收藏 0 1669 0 马化辉 2018-07-01发布 背景 在Linux系统环境下,服务器宕机发生的频率比较小,但是不少工程师或多或少都会遇到这 ...
- 网络流量分析——NPMD关注IT运维、识别宕机和运行不佳进行性能优化。智能化分析是关键-主动发现业务运行异常。科来做APT相关的安全分析
科来 做流量分析,同时也做了一些安全分析(偏APT)——参考其官网:http://www.colasoft.com.cn/cases-and-application/network-security- ...
- Solr4.8.0源码分析(26)之Recovery失败造成的宕机原因分析
最近在公司做SolrCloud的容灾测试,刚好碰到了一个比较蛋疼的问题,跟SolrCloud的Recovery和leader选举有关,正好拿出来分析下. 现象是这样的:比如我有一台3个shard的So ...
随机推荐
- JS中的迭代
for each...in 使用一个变量迭代一个对象的所有属性值.对于每一个属性值,有一个指定的语句块被执行. 作为ECMA-357(E4X)标准的一部分,for each...in语句已被废弃,E4 ...
- 洛谷 P4198 楼房重建 题解
题面 首先你要知道题问的是什么:使用一种数据结构,动态地维护以1为起点地最长上升子序列(把楼房的高度转化成斜率地序列)的长度: 怎么做?线段树! 我们在线段树上维护两个东西:1.这个区间内斜率的最大值 ...
- sqlalchemy定义mysql时间戳字段
update_time = Column(TIMESTAMP, nullable=False, comment='更新时间戳', server_default=text('CURRENT_TIMEST ...
- nodejs+gulp+webpack基础知识
nodejs+gulp+webpack基础知识 2019年08月22日 11:49:40 天府云创 阅读数 22 版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文 ...
- Bootstrap页面响应式设计
关键词:viewport.栅格布局.媒体查询(Media Queries) 一.关于栅格布局的说明: 1.基本图解 extra small devices phones 超小型设备手机small d ...
- js定时器 离开当前页面任然执行的问题
今天在博客上看到有人问 js定时器-----离开当前页面原本匀速运动的div加速了,回到页面若干时间恢复匀速??? 他是js定时器控制一个盒子做旋转动画 离开页面后js还在执行 但是盒子这个dom却被 ...
- https和http的post发送总结
本文为转贴内容,感谢作者阿进! 需要转发数据到客户的https的服务器上出现一系列问题总结如下: 1.因为是https首先考虑到用最新的控件NetHTTPClient(只有在XE8以上才有). 2.客 ...
- 【Day1】2.安装运行Python
视频地址(全部) https://edu.csdn.net/course/detail/26057 课件地址(全部) https://download.csdn.net/download/gentl ...
- Delphi 画布对象
樊伟胜
- 《python解释器源码剖析》第4章--python中的list对象
4.0 序 python中的list对象,底层对应的则是PyListObject.如果你熟悉C++,那么会很容易和C++中的list联系起来.但实际上,这个C++中的list大相径庭,反而和STL中的 ...