问题描述:

现网个别时候会出现CPU突然飙高的现象,飙高后不能恢复正常。

分析过程:

CPU飙高后抓dump,最好本机看,其它机器看dump可能需要下载服务运行机器的sos,clr

 
 

0:000> !threadpool

The version of SOS does not match the version of CLR you are debugging.  Please

load the matching version of SOS for the version of CLR you are debugging.

CLR Version: 4.0.30319.276

SOS Version: 4.0.30319.17929

CPU utilization: 100%

Worker Thread: Total: 54 Running: 54 Idle: 0 MaxLimit: 32767 MinLimit: 8

Work Request in Queue: 0

--------------------------------------

Number of Timers: 3

--------------------------------------

Completion Port Thread:Total: 10 Free: 10 MaxFree: 16 CurrentLimit: 8 MaxLimit: 1000 MinLimit: 8

CPU确实高,54个线程都在跑着。

接着看线程都在干什么

0:000> ~*e!clrstack

OS Thread Id: 0x3278 (57)

Child SP         IP               Call Site

000000000c72cea8 0000000077ef047a [RedirectedThreadFrame: 000000000c72cea8]

000000000c72cf40 000006448056c07e ********************.

SecurityQuota.ConcurrentLinkedQueue`1[[System.__Canon, mscorlib]].TryDequeue(System.__Canon ByRef)

000000000c72cff0 00000644805999e8 ********************.SecurityQuota.SecurityFeatureDigest.GetIncrementalDigest(********************)

……

 
 

有50个线程在做该操作,review该处代码

为了防止本地代码和服务器不一致,直接反编译的服务器的代码,GetIncrementalDigest方法如下

public class SecurityFeatureDigest : ISecurityFeatureDigest

{

    // Fields

    private static Database _data = DatabaseManager.GetDatabase("SQSDB");

    private static readonly ITracing _tracer = TracingManager.GetTracing(typeof(SecurityFeatureDigest));

    private static ConcurrentLinkedQueue<List<FeatureDigest>> queue =

new ConcurrentLinkedQueue<List<FeatureDigest>>(new List<FeatureDigest>());     (2)

    private static readonly string[] SetFeatureDigestParameter = new string[] { "@digest", "@operation", "@sample", "@stamp" };

 
 

    // 略…

 
 

    public void GetIncrementalDigest(RpcServerContext context)

    {

        DateTime args = context.GetArgs<DateTime>();

        List<FeatureDigest> results = new List<FeatureDigest>();

        List<FeatureDigest> result = null;

        while (true)

        {

            if (queue.TryDequeue(out result))      (1)

            {

                List<FeatureDigest> list3 = new List<FeatureDigest>();

                list3.AddRange(result);

                queue.Enqueue(result);

                foreach (FeatureDigest digest in list3)

                {

                    if (digest.Version > args)

                    {

                        digest.Sample = string.Empty;

                        results.Add(digest);

                    }

                }

                context.Return<List<FeatureDigest>>(results);

                return;

            }

        }

    }

 
 

    // 略…

 
 

}

从抓的dump看,极有可能是死循环了。通过以上代码看到,如果(1)处的返回为false的话,则改段代码会陷入死循环。接着看下什么情况下返回false。

public class ConcurrentLinkedQueue<T>

{

    // Fields

    private Node<T, T> _head;

    private Node<T, T> _tail;

 
 

    // 略…

   
 

    public bool TryDequeue(out T result)

    {

        while (true)

        {

            Node<T, T> comparand = this._head;

            Node<T, T> node2 = this._tail;

            Node<T, T> next = comparand.Next;

            if (comparand == this._head)

            {

                if (next == null)       (3)

                {

                    result = default(T);

                    return false;

                }

                if (comparand == node2)

                {

                    Interlocked.CompareExchange<Node<T, T>>(ref this._tail, next, node2);

                }

                else

                {

                    result = next.Item;

                    if (Interlocked.CompareExchange<Node<T, T>>(ref this._head, next, comparand) == comparand)

                    {

                        break;

                    }

                }

            }

        }

        return true;

    }

(3)处可以看出,如果head的next为null的话,则返回false。为了确认分析是否正确,看下此处的值是不是null

0:000> !dumpheap -stat

Statistics:

              MT    Count    TotalSize Class Name

000006448054b2d0        1           32 ********************.SecurityQuota.ConcurrentLinkedQueue`1

[[System.Collections.Generic.List`1[[********************.FeatureDigest, IICSecurityLibrary]], mscorlib]]

0:000> !dumpheap – -mt 000006448054b2d0   

------------------------------

Heap 6

         Address               MT     Size

00000001404836f0 000006448054b2d0       32    

total 0 objects

Statistics:

              MT    Count    TotalSize Class Name

           32 ********************.SecurityQuota.ConcurrentLinkedQueue`1

[[System.Collections.Generic.List`1[[********************.FeatureDigest, *****]], mscorlib]]

Total 1 objects

0:000> !do 00000001404836f0

Name:        ********************.SecurityQuota.ConcurrentLinkedQueue`1[[System.Collections.Generic.List`1

[[********************.FeatureDigest, *****]], mscorlib]]

MethodTable: 000006448054b2d0

EEClass:     0000064480557a90

Size:        32(0x20) bytes

File:        ********************\SecurityQuotaService.exe

Fields:

              MT    Field   Offset                 Type VT     Attr            Value Name

        8 ...Canon, mscorlib]]  0 instance 00000000c3135ec8 _head

       10 ...Canon, mscorlib]]  0 instance 00000000c3135ec8 _tail

0:000> !do 00000000c3135ec8

Name:        ********************.SecurityQuota.ConcurrentLinkedQueue`1+Node`1[[System.Collections.Generic.List`1[[********************.

FeatureDigest, *****]], mscorlib],[System.Collections.Generic.List`1[[********************.FeatureDigest, *****]], mscorlib]]

MethodTable: 000006448054b7f8

EEClass:     00000644805580b8

Size:        32(0x20) bytes

File:        ********************\SecurityQuotaService.exe

Fields:

              MT    Field   Offset                 Type VT     Attr            Value Name

        8       System.__Canon  0 instance 00000001404836a8 Item

       10 ...Canon, mscorlib]]  0 instance 0000000000000000 Next

发现Next为null

 
 

问题结论:

由于一些异常逻辑导致程序死循环,此处代码也有问题,对异常逻辑处理不够。

 
 

 

作者:No.40

Blog:http://www.cnblogs.com/no40

 

生产环境服务CPU高问题分析的更多相关文章

  1. 生产环境如何快速跟踪、分析、定位问题-Java

    我相信做技术的都会遇到过这样的问题,生产环境服务遇到宕机的情况下如何去分析问题?比如说JVM内存爆掉.CPU持续高位运行.线程被夯住或线程deadlocks,面对这样的问题,如何在生产环境第一时间跟踪 ...

  2. Db2性能:系统CPU高问题分析的一些思路

    Db2性能:系统CPU高问题分析的一些思路 1. 如何判断CPU高? 有很多操作系统的命令可以看出来,比如ps -elf,iostat, vmstat, top/topas, 2. 收集数据 CPU高 ...

  3. 生产环境JAVA进程高CPU占用故障排查

    问题描述:生产环境下的某台tomcat7服务器,在刚发布时的时候一切都很正常,在运行一段时间后就出现CPU占用很高的问题,基本上是负载一天比一天高. 问题分析:1,程序属于CPU密集型,和开发沟通过, ...

  4. K8S生产环境中实践高可靠的配置和技巧都有哪些?

    K8S环境中实践高可靠的配置和技巧都有哪些? 磁盘类型及大小 磁盘类型: 推荐使用ssd 磁盘 对于worker节点,创建集群时推荐使用挂载数据盘.这个盘是专门给/var/lib/docker 存放本 ...

  5. 【转】生产环境:Nginx高可用方案

    准备工作: 192.168.16.128 192.168.16.129 两条虚拟机.安装好 Nginx 安装Nginx 更新 yum 源文件: rpm -ivh http://nginx.org/pa ...

  6. 生产环境之Nginx高可用方案

    准备工作: 192.168.16.128 192.168.16.129 两台虚拟机.安装好Nginx 安装Nginx 更新yum源文件: rpm -ivh http://nginx.org/packa ...

  7. linux安装Django 以及 生产环境部署实现高并发

    1.首先安装python Python编译安装 主要介绍linux环境下安装 cd  /usr/local/src     //进入安装目录 wget  https://www.python.org/ ...

  8. java面试-生产环境出现CPU占用过高,谈谈你的分析思路和定位

    思路:结合Linux和JDK命令一起分析 1.用top命令找出CPU占比最高的进程 2.ps -ef|grep java|grep -v grep 或者jps -l进一步定位,得知是怎样一个后台程序惹 ...

  9. 转 cpu高 问题分析定位

    文章来源: http://www.blogjava.net/hankchen/archive/2012/08/09/377735.html 一个应用占用CPU很高,除了确实是计算密集型应用之外,通常原 ...

随机推荐

  1. Hibernate笔记——关联关系配置(一对多、一对一和多对多)

    原文:http://www.cnblogs.com/otomedaybreak/archive/2012/01/20/2327695.html ============================ ...

  2. Struts2笔记——Action校验器

    在struts2中,我们可以实现对action的所有方法进行校验或者对action的指定方法进行校验.  对于输入校验struts2提供了两种实现方法: 1.采用手工编写代码实现. 2.基于XML配置 ...

  3. ajax:serialize() 获取表单集合

    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/ ...

  4. UITableView的使用及性能优化

    UITableView可谓是日常开发中最重要的控件之一,而使用UITableView最重要的在于性能优化.iOS设备的内存有限,如果用UITableView显示成千上万条数据,就需要成千上万个UITa ...

  5. 转 RMI、RPC、SOAP通信技术介绍及比对

    http://www.open-open.com/home/space.php?uid=37924&do=blog&id=8974 1.RMI 使用java的程序员,对于RMI(Rem ...

  6. dojo 资源库

    文档 :http://wenku.baidu.com/link?url=Nnek_tAjIC-Q3t3e9zHQmsh4LhU3f0ncC1QH8WD_U9-I8-fJ7mMisscFpgfuS8nU ...

  7. Java中获取完整的url

    Java中获得完整的URl字符串 HttpServletRequest httpRequest=(HttpServletRequest)request; String strBackUrl = &qu ...

  8. HDFS的基本shell操作,hadoop fs操作命令

    (1)分布式文件系统 随着数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管 ...

  9. How to install ruby on mac/ change ruby source in china

    his one is tailor made for the Basix users among you. If you've been itching to try out Ruby and/or ...

  10. 51nod1244 莫比乌斯函数之和

    推公式.f[n]=1-∑f[n/i](i=2...n).然后递归+记忆化搜索.yyl说这叫杜教筛?时间复杂度貌似是O(n 2/3)的? #include<cstdio> #include& ...