生产环境服务CPU高问题分析
问题描述:
现网个别时候会出现CPU突然飙高的现象,飙高后不能恢复正常。
分析过程:
CPU飙高后抓dump,最好本机看,其它机器看dump可能需要下载服务运行机器的sos,clr
0:000> !threadpool
The version of SOS does not match the version of CLR you are debugging. Please
load the matching version of SOS for the version of CLR you are debugging.
CLR Version: 4.0.30319.276
SOS Version: 4.0.30319.17929
CPU utilization: 100%
Worker Thread: Total: 54 Running: 54 Idle: 0 MaxLimit: 32767 MinLimit: 8
Work Request in Queue: 0
--------------------------------------
Number of Timers: 3
--------------------------------------
Completion Port Thread:Total: 10 Free: 10 MaxFree: 16 CurrentLimit: 8 MaxLimit: 1000 MinLimit: 8
CPU确实高,54个线程都在跑着。
接着看线程都在干什么
0:000> ~*e!clrstack
OS Thread Id: 0x3278 (57)
Child SP IP Call Site
000000000c72cea8 0000000077ef047a [RedirectedThreadFrame: 000000000c72cea8]
000000000c72cf40 000006448056c07e ********************.
SecurityQuota.ConcurrentLinkedQueue`1[[System.__Canon, mscorlib]].TryDequeue(System.__Canon ByRef)
000000000c72cff0 00000644805999e8 ********************.SecurityQuota.SecurityFeatureDigest.GetIncrementalDigest(********************)
……
有50个线程在做该操作,review该处代码
为了防止本地代码和服务器不一致,直接反编译的服务器的代码,GetIncrementalDigest方法如下
public class SecurityFeatureDigest : ISecurityFeatureDigest
{
// Fields
private static Database _data = DatabaseManager.GetDatabase("SQSDB");
private static readonly ITracing _tracer = TracingManager.GetTracing(typeof(SecurityFeatureDigest));
private static ConcurrentLinkedQueue<List<FeatureDigest>> queue =
new ConcurrentLinkedQueue<List<FeatureDigest>>(new List<FeatureDigest>()); (2)
private static readonly string[] SetFeatureDigestParameter = new string[] { "@digest", "@operation", "@sample", "@stamp" };
// 略…
public void GetIncrementalDigest(RpcServerContext context)
{
DateTime args = context.GetArgs<DateTime>();
List<FeatureDigest> results = new List<FeatureDigest>();
List<FeatureDigest> result = null;
while (true)
{
if (queue.TryDequeue(out result)) (1)
{
List<FeatureDigest> list3 = new List<FeatureDigest>();
list3.AddRange(result);
queue.Enqueue(result);
foreach (FeatureDigest digest in list3)
{
if (digest.Version > args)
{
digest.Sample = string.Empty;
results.Add(digest);
}
}
context.Return<List<FeatureDigest>>(results);
return;
}
}
}
// 略…
}
从抓的dump看,极有可能是死循环了。通过以上代码看到,如果(1)处的返回为false的话,则改段代码会陷入死循环。接着看下什么情况下返回false。
public class ConcurrentLinkedQueue<T>
{
// Fields
private Node<T, T> _head;
private Node<T, T> _tail;
// 略…
public bool TryDequeue(out T result)
{
while (true)
{
Node<T, T> comparand = this._head;
Node<T, T> node2 = this._tail;
Node<T, T> next = comparand.Next;
if (comparand == this._head)
{
if (next == null) (3)
{
result = default(T);
return false;
}
if (comparand == node2)
{
Interlocked.CompareExchange<Node<T, T>>(ref this._tail, next, node2);
}
else
{
result = next.Item;
if (Interlocked.CompareExchange<Node<T, T>>(ref this._head, next, comparand) == comparand)
{
break;
}
}
}
}
return true;
}
从(3)处可以看出,如果head的next为null的话,则返回false。为了确认分析是否正确,看下此处的值是不是null
0:000> !dumpheap -stat
Statistics:
MT Count TotalSize Class Name
000006448054b2d0 1 32 ********************.SecurityQuota.ConcurrentLinkedQueue`1
[[System.Collections.Generic.List`1[[********************.FeatureDigest, IICSecurityLibrary]], mscorlib]]
0:000> !dumpheap – -mt 000006448054b2d0
------------------------------
Heap 6
Address MT Size
00000001404836f0 000006448054b2d0 32
total 0 objects
Statistics:
MT Count TotalSize Class Name
32 ********************.SecurityQuota.ConcurrentLinkedQueue`1
[[System.Collections.Generic.List`1[[********************.FeatureDigest, *****]], mscorlib]]
Total 1 objects
0:000> !do 00000001404836f0
Name: ********************.SecurityQuota.ConcurrentLinkedQueue`1[[System.Collections.Generic.List`1
[[********************.FeatureDigest, *****]], mscorlib]]
MethodTable: 000006448054b2d0
EEClass: 0000064480557a90
Size: 32(0x20) bytes
File: ********************\SecurityQuotaService.exe
Fields:
MT Field Offset Type VT Attr Value Name
8 ...Canon, mscorlib]] 0 instance 00000000c3135ec8 _head
10 ...Canon, mscorlib]] 0 instance 00000000c3135ec8 _tail
0:000> !do 00000000c3135ec8
Name: ********************.SecurityQuota.ConcurrentLinkedQueue`1+Node`1[[System.Collections.Generic.List`1[[********************.
FeatureDigest, *****]], mscorlib],[System.Collections.Generic.List`1[[********************.FeatureDigest, *****]], mscorlib]]
MethodTable: 000006448054b7f8
EEClass: 00000644805580b8
Size: 32(0x20) bytes
File: ********************\SecurityQuotaService.exe
Fields:
MT Field Offset Type VT Attr Value Name
8 System.__Canon 0 instance 00000001404836a8 Item
10 ...Canon, mscorlib]] 0 instance 0000000000000000 Next
发现Next为null
问题结论:
由于一些异常逻辑导致程序死循环,此处代码也有问题,对异常逻辑处理不够。
作者:No.40
Blog:http://www.cnblogs.com/no40
生产环境服务CPU高问题分析的更多相关文章
- 生产环境如何快速跟踪、分析、定位问题-Java
我相信做技术的都会遇到过这样的问题,生产环境服务遇到宕机的情况下如何去分析问题?比如说JVM内存爆掉.CPU持续高位运行.线程被夯住或线程deadlocks,面对这样的问题,如何在生产环境第一时间跟踪 ...
- Db2性能:系统CPU高问题分析的一些思路
Db2性能:系统CPU高问题分析的一些思路 1. 如何判断CPU高? 有很多操作系统的命令可以看出来,比如ps -elf,iostat, vmstat, top/topas, 2. 收集数据 CPU高 ...
- 生产环境JAVA进程高CPU占用故障排查
问题描述:生产环境下的某台tomcat7服务器,在刚发布时的时候一切都很正常,在运行一段时间后就出现CPU占用很高的问题,基本上是负载一天比一天高. 问题分析:1,程序属于CPU密集型,和开发沟通过, ...
- K8S生产环境中实践高可靠的配置和技巧都有哪些?
K8S环境中实践高可靠的配置和技巧都有哪些? 磁盘类型及大小 磁盘类型: 推荐使用ssd 磁盘 对于worker节点,创建集群时推荐使用挂载数据盘.这个盘是专门给/var/lib/docker 存放本 ...
- 【转】生产环境:Nginx高可用方案
准备工作: 192.168.16.128 192.168.16.129 两条虚拟机.安装好 Nginx 安装Nginx 更新 yum 源文件: rpm -ivh http://nginx.org/pa ...
- 生产环境之Nginx高可用方案
准备工作: 192.168.16.128 192.168.16.129 两台虚拟机.安装好Nginx 安装Nginx 更新yum源文件: rpm -ivh http://nginx.org/packa ...
- linux安装Django 以及 生产环境部署实现高并发
1.首先安装python Python编译安装 主要介绍linux环境下安装 cd /usr/local/src //进入安装目录 wget https://www.python.org/ ...
- java面试-生产环境出现CPU占用过高,谈谈你的分析思路和定位
思路:结合Linux和JDK命令一起分析 1.用top命令找出CPU占比最高的进程 2.ps -ef|grep java|grep -v grep 或者jps -l进一步定位,得知是怎样一个后台程序惹 ...
- 转 cpu高 问题分析定位
文章来源: http://www.blogjava.net/hankchen/archive/2012/08/09/377735.html 一个应用占用CPU很高,除了确实是计算密集型应用之外,通常原 ...
随机推荐
- Hibernate笔记——关联关系配置(一对多、一对一和多对多)
原文:http://www.cnblogs.com/otomedaybreak/archive/2012/01/20/2327695.html ============================ ...
- Struts2笔记——Action校验器
在struts2中,我们可以实现对action的所有方法进行校验或者对action的指定方法进行校验. 对于输入校验struts2提供了两种实现方法: 1.采用手工编写代码实现. 2.基于XML配置 ...
- ajax:serialize() 获取表单集合
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/ ...
- UITableView的使用及性能优化
UITableView可谓是日常开发中最重要的控件之一,而使用UITableView最重要的在于性能优化.iOS设备的内存有限,如果用UITableView显示成千上万条数据,就需要成千上万个UITa ...
- 转 RMI、RPC、SOAP通信技术介绍及比对
http://www.open-open.com/home/space.php?uid=37924&do=blog&id=8974 1.RMI 使用java的程序员,对于RMI(Rem ...
- dojo 资源库
文档 :http://wenku.baidu.com/link?url=Nnek_tAjIC-Q3t3e9zHQmsh4LhU3f0ncC1QH8WD_U9-I8-fJ7mMisscFpgfuS8nU ...
- Java中获取完整的url
Java中获得完整的URl字符串 HttpServletRequest httpRequest=(HttpServletRequest)request; String strBackUrl = &qu ...
- HDFS的基本shell操作,hadoop fs操作命令
(1)分布式文件系统 随着数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管 ...
- How to install ruby on mac/ change ruby source in china
his one is tailor made for the Basix users among you. If you've been itching to try out Ruby and/or ...
- 51nod1244 莫比乌斯函数之和
推公式.f[n]=1-∑f[n/i](i=2...n).然后递归+记忆化搜索.yyl说这叫杜教筛?时间复杂度貌似是O(n 2/3)的? #include<cstdio> #include& ...