事故记录：php-cgi进程过多导致系统资源耗尽

事故现象:机房一台服务器运行一段时间后,突然发现系统资源即将被耗尽! 1)top命令查看一下系统的cpu ram swap的使用情况由上图分析,可以看出1--共有602个进程,但其中有601个进程休眠了.这就有点不对劲,这台服务器的内核进程也就80个左右,加上memcached, nginx, mysqld,也不会超出90个,除了这些,剩下的只有php-fpm管理的php-cgi了.2--CPU显示,CPU压力并不大,可以说没有压力.3--内存使用概要,发现4G的内存,消耗得所剩余无几(fre…

Linux下php-fpm进程过多导致内存耗尽问题

这篇文章主要介绍了解决Linux下php-fpm进程过多导致内存耗尽问题,需要的朋友可以参考下最近,发现个人博客的Linux服务器,数据库服务经常挂掉,导致需要重启,才能正常访问,极其恶心,于是决心开始解决问题,解放我的时间和精力(我可不想经常出问题,然后人工重启,费力费时). 分析问题发现问题以后,首先使用 free -m 指令查看当前服务器执行状况: 可以看到我的服务器内存是2G的,但是目前可用内存只剩下70M,内存使用率高达92%,很有可能是内存使用率过高导致数据库服务挂断. 继续…

PHP CGI 进程占用CPU过高导致CPU使用达到100%的另类原因

由于使用的华为云的CDN加速,结果发现我的阿里云服务器突然卡顿,网页打开极慢.登陆华为云CDN管理后台发现最高带宽占用30M,流量短时间内达到10GB以上,这么大的流量我的服务器肯定扛不住啊.于是还跟华为云进行了一个撕逼,然后果断弃了华为云. 但是更换了其他CDN或者WAF之后,CPU占用依然居高不下,网上找了很多办法都不管用. 看了下是 PHP CGI 进程占用CPU最多,而且经过检测发现是浏览器内核检测网站的 PHP CGI 占用最高,其他的很少.然而看第三方网站统计,并没有很大的访问量…

服务器php-cgi.exe进程过多，导致CPU占用100%的解决方法

再使用iis服务器中经常会出现php-cgi.exe进程过多,导致CPU占用100%,最终造成网站运行过慢甚至卡死的情况,重启iis会好一会,过一段时间久出现这种情况,为什么会出现这种情况呢,应该怎么解决呢,开始的时候我一直手动结束php-cgi程序,虽然可以临时解决问题,但是不是长久之计,我百度了下,出现该问题一般为程序方面问题,如程序采用fastcgi方式运行PHP,而程序设置的StartProcesses又偏大,如6甚至更大.下面是我整理的对php-cgi.ext过多引起服务器cup%的解…

XCode编译文件过多导致内存吃紧解决方法

XCode编译文件过多导致内存吃紧解决方法 /Users/~~/Library/Developer/Xcode/DerivedData 1) 然后找到编译文件删除就好了哦快去试试看吧…

echarts x轴标签文字过多导致显示不全

原文电梯:https://blog.csdn.net/kebi007/article/details/68488694 echarts x轴标签文字过多导致显示不全如图: 解决办法1:xAxis.axisLabel 属性 axisLabel的类型是object ,主要作用是:坐标轴刻度标签的相关设置.(当然yAxis也是一样有这个属性的) axisLabel: { interval:, rotate: } 以上就可解决x轴文字显示不全并将文字倾斜.如图: 稍微解释一下 interval 坐…

解决texlive化学式转换镜像经常偶发性进程堆积导致卡顿问题

前言之前在使用Python定时清理运行超时的pdflatex僵尸进程博文中我采用python脚本开启定时任务清理pdflatex僵尸进程,线上4u2G的k8s pod部署了3个,pdflatex执行过程是是比较耗cpu的,内存占用微乎其微,但是pod在实际在运行中偶尔还是会出现一些问题问题问题一:K8s POD存储超过100M,POD down了,但是资源没有被回收,导致k8s命名空间资源被空耗问题二:每隔一段时间偶发性单个pod进程积压,定时清理脚本会down掉,清理任务无法正常运…

事故记录-过多进程致使CPU卡死

早上到公司,发现邮箱内有报警信息显示CPU和IO使用都已超标.报警内容如下:主机: test-server-192.168.1.18 时间: 2015.11.15 15:25:17状态: PROBLEM 级别:Warning报警原因: Processor load is too high on test-server内容: Processor load (1 min average per core):value=52.53原始事件ID: 30605 主机: test-server-192.16…

解决CentOS 7中php-fpm进程数过多导致服务器内存资源消耗较大的问题

本文由荒原之梦原创,原文链接:http://zhaokaifeng.com/?p=653 什么是php-fpm: php-fpm即FastCGI进程管理器,用于控制php的内存和进程等. 操作环境: CentOS 7 问题检查: 首先查看php进程总数: pstree|grep php-fpm 回显: |-php-fpm---20*[php-fpm] 根据回显信息可知,查询时有20个php-fpm进程. 也可以通过下面的命令列出消耗内存最多的前50个进程: ps auxw|head -1;ps…

mysql 线程等待时间，解决sleep进程过多的办法

如果你没有修改过MySQL的配置,缺省情况下,wait_timeout的初始值是28800. wait_timeout 过大有弊端,其体现就是MySQL里大量的SLEEP进程无法及时释放,拖累系统性能,不过也不能把这个指设置的过小,否则你可能会遭遇到“MySQL has gone away”之类的问题,通常来说,我觉得把wait_timeout设置为10是个不错的选择,但某些情况下可能也会出问题,比如说有一个CRON脚本,其中两次SQL查询的间隔时间大于10秒的话,那么这个设置就有问题了(当…

mysql sleep进程过多

如果你没有修改过MySQL的配置,缺省情况下,wait_timeout的初始值是28800. wait_timeout过大有弊端,其体现就是MySQL里大量的SLEEP进程无法及时释放,拖累系统性能,不过也不能把这个指设置的过小,否则你可能会遭遇到"MySQLhas goneaway"之类的问题,通常来说,我觉得把wait_timeout设置为10是个不错的选择,但某些情况下可能也会出问题,比如说有一个CRON脚本,其中两次SQL查询的间隔时间大于10秒的话,那么这个设置就有问题了(当…

mysql中，sleep进程过多，如何解决？

睡眠连接过多,会对mysql服务器造成什么影响? 严重消耗mysql服务器资源(主要是cpu, 内存),并可能导致mysql崩溃. 造成睡眠连接过多的原因? 1. 使用了太多持久连接(个人觉得,在高并发系统中,不适合使用持久连接) 2. 程序中,没有及时关闭mysql连接 3. 数据库查询不够优化,过度耗时. set global wait_timeout=100 有效的完美解决…

Spark使用CombineTextInputFormat缓解小文件过多导致Task数目过多的问题

目前平台使用Kafka + Flume的方式进行实时数据接入,Kafka中的数据由业务方负责写入,这些数据一部分由Spark Streaming进行流式计算:另一部分数据则经由Flume存储至HDFS,用于数据挖掘或机器学习.HDFS存储数据时目录的最小逻辑单位为“小时”,为了保证数据计算过程中的数据完整性(计算某个小时目录中的数据时,该目录的数据全部写入完毕,且不再变化),我们在Flume中加入了如下策略: 每五分钟关闭一次正在写入的文件,即新创建文件进行数据写入. 这样的方式可以保证…

"最大工作进程数"导致的WCF调用失败

WCF服务寄宿在IIS中,当设置其“最大工作进程数”>1时,经常会出现服务无法被成功调用客户端异常为System.ServiceModel.Security.MessageSecurityException > System.ServiceModel.FaultException: Type:System.ServiceModel.Security.MessageSecurityException Message:从另一方收到未进行安全处理或安全处理不正确的错误.有关错误代码和详细信息,请参…

Cocos 更新时反复杀进程，导致差异更新失效的Bug

Cocos 更新时反复杀进程时,差异更新失效的问题: 问题复现步骤: 1.在project.manifest.temp 文件下载成功后,下载Assets资源的时候杀掉进程 2.重启游戏,继续更新时会使用上次下载成功的project.manifest.temp文件,这个时候因为没有将文件下载状态保存,而更新的时候又判断没有下再成功就去下载,就导致将所有文件都下载了. 下载流程分析 1. project.manifest.temp 文件下载成功之前如果kill进程,下次进入就会删除这个文件,重新下载…

IIS进程回收导致定时器失效的一种解决办法

公司开发的网站使用的.net,网站中用到了定时器,放在Global.asax.cs文件中,但由于IIS设置了网站进程定期回收,回收后定时器也就没了.如果不让进程回收,又担心程序中有内存泄露.有人说可以在Application_End发起HTTP请求,但这样做和设置不让进程回收没有任何区别,结果就是该进程一直运行,只有保证不存在内存泄露才可以这样做.也有人说可以用Windows Service,对这个不了解,所以这招放弃了.最后想到了一个方法,编写脚本命令(这里用DOS命令)访问网站,再通过Win…

MySQL Insert语句单个批次数量过多导致的CPU性能问题分析

[问题] 最近有台服务器比较频繁的CPU报警,表现的特征有CPU sys占比偏高,大量慢查询,大量并发线程堆积.后面开发对insert的相关业务限流后,服务器性能恢复正常. [异常期间线程处理情况] 下图是当时生产环境异常时抓取的信息,该事务正在执行insert,已经执行5秒,线程运行在innodb内核,状态是thread declared inside InnoDB,还有4906 tickets可用统计了下有64个线程在innodb层,同时看到还有280个线程在排队等待进入innodb线程,…

疑难杂症--在Windows Server 2008 R2上运行SQL Server 2008情况下，CPU过多导致的问题

64位的Windows7和Windows Server 2008 R2为了能够在一台机器上,支持超过64个逻辑CPU, 引入了Processor Group这个概念.Processor Group会把一些逻辑CPU编成一个组,但是一个组内的逻辑CPU总数不能超过64个.Windows 会将超过64个CPU(小于128)分成两组(比例随机不固定),操作系统随机地为每个进程分配一个Processor Group,而SQL Server 2008会调用GetSystemInfo(&siSysInfo)…

Android引导页过多导致OOM内存泄漏

摘要:前几天推广我们APP的时候,有些手机加载引导页的时候会闪退或崩溃,在Bugly显示是OOM异常. 然后Bugly上面显示的解决方案是: 该异常表示未能成功分配字节内存,通常是因为内存不足导致的内存溢出. [解决方案]:OOM就是内存溢出,即Out of Memory.也就是说内存占有量超过了VM所分配的最大.怎么解决OOM,通常OOM都发生在需要用到大量内存的情况下(创建或解析Bitmap,分配特大的数组等),这里列举常见避免OOM的几个注意点: 1.适当调整图像大小. 2.采用合适…

KingbaseES V8R3 shared_buffer占用过多导致实例崩溃

背景有这样一个案例.客户备库意外宕机,从集群日志只看出发生了主备切换,备库一直持续恢复备库没有成功,从数据库日志看到如下报错: terminating connection because of crash of another server process DETAIL: The kingbase has commanded this server process to roll back the current transaction and exit, because another s…

真实记录疑似Linux病毒导致服务器带宽跑满的解决过程

案例描述由于最近我在重构之前的APP,需要和server端进行数据交互,发现有一个现象,那么就是隔1~2天总会发生获取数据超时的问题,而且必须要重启服务器才能解决.早在之前,我有留意到这个问题,但是由于这个服务器目前只有我测试的时候才有访问,其他的途径的数据交互几乎没有,但是这次必须要把这个问题解决了,因为APP我肯定要上线的. 按理分析服务器是基于阿里云的 Linux-CentOs 6.5,由nginx解析,首先登陆阿里云官网去查看ECS云服务器的运行情况,显示的是运行中,和以往一样,费用…

批量杀掉多个pid文件中记录的pid进程, 并集成到shell脚本中

head_files=`find ./fmsConf/ -name "*.pid"` for file in $head_files do cat $file | awk rm -f $file done 代码如上解释: 1. 查找到 ./fmsConf目录下的所有的pid文件 2. 对查找到的文件进行遍历 3. 开始遍历 4. 分开解释: 1. cat $file : 打印出file文件的内容 2. awk '{print $1}' : 打印第一个单元字符 3. xargs : 将…

linux交换区使用过多导致的性能问题

近日,我们开发发现有一台配置相同的服务器跑的特别慢,相同数据量的情况下,其他服务器只要跑10分钟,这台服务器要跑50分钟,经确认,所有的应用层配置参数都相同.上去之后,发现该服务器swap使用比较多,大概有8-10G左右(配置了32G,1:1),该服务器上的应用进程内存使用量(PSS)和其他服务器差不多,不存在特别多的情况.为了尽可能不使用交换区,将vm.swappiness设置为0了,重跑,发现运行一段时间之后,cached和free都没有了,swap又上去了,但是rss占用一直在十几个G(p…

MYISM表并发写请求过多导致无法被读取解决方案

MyISAM锁调度是如何实现的呢,这也是一个很关键的问题.例如,当一个进程请求某个MyISAM表的读锁,同时另一个进程也请求同一表的写锁,此时MySQL将会如优先处理进程呢?通过研究表明,写进程将先获得锁(即使读请求先到锁等待队列).但这也造成一个很大的缺陷,即大量的写操作会造成查询操作很难获得读锁,从而可能造成永远阻塞.所幸我们可以通过一些设置来调节MyISAM的调度行为.我们可通过指定参数low-priority-updates,使MyISAM默认引擎给予读请求以优先的权利,设置其值为1(s…