利用crash 分析软死锁问题【转】

转自：https://blog.csdn.net/divlee130/article/details/47806551

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/divlee130/article/details/47806551
软死锁问题定位分析。
现象：服务器软死锁，增量数据无法下发。一直报cpu soft lockup

1．通过kxfr日志确认出问题出现的地方
通过对服务器分析可以看到出现问题的地方都是下发配置kxfr_id=2202438的地方由此大概定位出问题的域名。

2.进一步分析机器内核信息可以看到如下kxfr_add_rdset流程出了问题。

按理说简单的遍历比较不会出问题。这里怎么会有问题呢。没有思路看看crash吧。到网上学习
http://blog.csdn.net/fishermandong/article/details/12112381

进一步通过crash相应的命令查看find_rdset汇编代码并对照源码分析相应的内存信息。

分析到此处我们只需要知道R9里面的内容是什么即可
查看栈信息得知R9里面的内容为ffff881042ac5ce0这里个地址里面的内容减去0X38就是上面的RDSET的内容！首先查看R9寄存器内容得到地址ffff88085076de78所以我们查看ffff88085076de40地址里面的内容。

查看相应的内存中信息如下，可以看到相应的内存中的信息。正是我们猜的struct dns_rdset信息，可以看到相应的id 为317842中的数据有问题。发现他的指针prev 和next居然是自己这里面肯定有问题。

再进一步分析查看这个RDSET上一级rrset 信息，正式我们所猜测的的lianzhaobox.com这个域名！到此为止基本上可以确定这个问题是这个节点打环了。

那是什么原因打环呢。我们继续分析如下。

在代码中打印调试信息如下。
正如我们所料ffff88081371cd78这里面的数据已经有问题。里面打环的信息不止这一个我们找到第一个出现问题的点。

这个是第一次出现时刻的数据贴出相应的代码

可以看到里面有2个RDSET_ID相同的节点，通过进一步分析得知这个是增加KXFR_ID为2201768的时候出的问题，该流程如下首先查看是否存在相应的RDSET可以看出他找到了。然后走MNT流程，然后根据当前下发bitmap,判断rrset->view[i]相应的为是否等于找到的rdset，如果不相等就减相应的计数当计数减到0时释放相应的rdset，注意此时释放的是后一个rdset节点，所以经过释放后链表中只有一个节点了。而内核中巧合又将这个节点加入链表。由此出现问题。

这个问题出现的概率很小首先系统中同一个RDSET_ID如果已经配置，出现ADDRDSET的流程是不会有的。我们会生成MNTRDSET,或者DELCHILD，出问题的这个是用户批量操作的时候出现的问题, 而且恰好内存中只能有2个节点，再次触发ADDRDSET流程且命中的节点不是释放的节点时才会出现。且2个节点的bitmap必须互斥。

需要说明的是如果一个链表已经在链上了并且只有一个节点如果再次将自己加入节点肯定会有问题的。

修复办法

前端严格按照 线路 domain bitmap type 生成rdset_id 像图中的情况bitmap不同时rdset_id相同这个是不正确的。另外后面的ADDRDSET正常来说应该是MNTRDSET，但是我们给生成的确是ADDRDSET。

后端修复

如果是ADDRDSET流程，如果已经找到了则不再增加到相应RDSET链表。正常情况下是不会有这个流程的，ADDRDSET流程一般都不会找到相应的节点。都会重新分配内存。

后记
通过对这次问题分析让我体会很深刻。开始就分析代码始终想不通一个链表怎么会死锁。总结一点出现问题通过对问题的复现很重要。往往没有经过复现的分析都是不对的。还好我们选择了利用现网资源复现该问题。从而打印出相应出问题的关键点。如果自己构造是不可能构造出来这个问题的。
---------------------
作者：divlee130
来源：CSDN
原文：https://blog.csdn.net/divlee130/article/details/47806551
版权声明：本文为博主原创文章，转载请附上博文链接！