记一次 .NET 某放射治疗光学定位软件卡死分析

一：背景

1. 讲故事

前段时间微信上有位非调试训练营学员找到我，说他们的医疗软件有点问题，有时候卡了一会就好了，有时候卡了很久，让我帮忙看下怎么回事，我让这位朋友在卡的时候抓一个dump给我，我分析看看。

二：卡死分析

1. 为什么会卡死

对于窗体程序的卡死，主要就是看主线程此时正在做什么，使用 ~0s;k 命令即可，输出如下：



0:000> ~0s;k

PresentationCore_ni!string+0x1e6968:

00007ffb`f4407e60 250000e0ff      and     eax,0FFE00000h

 # Child-SP          RetAddr               Call Site

00 0000005f`849fc7c0 00007ffb`f4407da7     PresentationCore_ni!`string'+0x1e6968

01 0000005f`849fc810 00007ffb`f43d1d5a     PresentationCore_ni!System.Windows.ContextLayoutManager.LayoutQueue.Add+0x37

02 0000005f`849fc860 00007ffb`f2e5a4b8     PresentationCore_ni!System.Windows.UIElement.InvalidateMeasure+0xda

03 0000005f`849fc8b0 00007ffb`f2ead5bd     PresentationFramework_ni!System.Windows.FrameworkElement.OnPropertyChanged+0x8b8

04 0000005f`849fcb10 00007ffc`1ae9c394     PresentationFramework_ni!System.Windows.Controls.TextBlock.OnPropertyChanged+0x5d

...

26 0000005f`849fe460 00007ffc`1ae9044f     WindowsBase_ni!System.Windows.Threading.Dispatcher.ProcessQueue+0x1fd

27 0000005f`849fe4f0 00007ffc`1ae93314     WindowsBase_ni!System.Windows.Threading.Dispatcher.WndProcHook+0x6f

28 0000005f`849fe570 00007ffc`1ae93714     WindowsBase_ni!MS.Win32.HwndWrapper.WndProc+0xc4

29 0000005f`849fe600 00007ffc`1ae93d58     WindowsBase_ni!MS.Win32.HwndSubclass.DispatcherCallbackOperation+0x84

2a 0000005f`849fe650 00007ffc`1ae93c56     WindowsBase_ni!System.Windows.Threading.ExceptionWrapper.InternalRealCall+0x68

2b 0000005f`849fe6c0 00007ffc`1ae91262     WindowsBase_ni!System.Windows.Threading.ExceptionWrapper.TryCatchWhen+0x36

2c 0000005f`849fe710 00007ffc`1ae93082     WindowsBase_ni!System.Windows.Threading.Dispatcher.LegacyInvokeImpl+0x172

2d 0000005f`849fe7b0 00007ffc`1b053b82     WindowsBase_ni!MS.Win32.HwndSubclass.SubclassWndProc+0x152

2e 0000005f`849fe8b0 00007ffc`2f0e224e     WindowsBase_ni+0x323b82

2f 0000005f`849fe920 00007ffc`505ce7e8     clr!UMThunkStub+0x6e

30 0000005f`849fe9b0 00007ffc`505ce229     user32!UserCallWinProcCheckWow+0x2f8

31 0000005f`849feb40 00007ffc`1aeb4479     user32!DispatchMessageWorker+0x249

...

43 0000005f`849ffc60 00000000`00000000     ntdll!RtlUserThreadStart+0x21

从卦中的 ProcessQueue, TextBlock.OnPropertyChanged 等函数来看，当前主线程正在忙碌处理，如果你想看主线程的执行流细节，可以将dmp拖到vs中，让vs帮我们解读，拖进去后是不是一下子就清晰多了。。。截图如下：

接下来的问题是这玩意会导致UI的卡死吗？经验上告诉我，这个概率不大，毕竟 PresentationCore.dll 中的代码固若金汤，那问题出在哪里呢？大概率就是窗体的Queue队列积压过多导致。

2. Queue队列积压过多吗

要想找到这个问题的答案，可以深挖调度类Dispatcher，使用 !dso xxx 到当前线程栈里去捞。



0:000> !dso

OS Thread Id: 0x34d0 (0)

RSP/REG          Object           Name

...

0000005F849FED20 0000020c4a784dc8 System.Windows.Threading.Dispatcher

...

0:000> !do 0000020c4a784dc8

Name:        System.Windows.Threading.Dispatcher

MethodTable: 00007ffc1ad53e30

EEClass:     00007ffc1ad8a6f0

Size:        232(0xe8) bytes

File:        C:\Windows\Microsoft.Net\assembly\GAC_MSIL\WindowsBase\v4.0_4.0.0.0__31bf3856ad364e35\WindowsBase.dll

Fields:

              MT    Field   Offset                 Type VT     Attr            Value Name

...

00007ffc1ad4caf8  4001284       a0 ...on, WindowsBase]]  0 instance 0000020c4a784f08 _queue

...

0:000> !do 0000020c4a784f08

Name:        System.Windows.Threading.PriorityQueue`1[[System.Windows.Threading.DispatcherOperation, WindowsBase]]

MethodTable: 00007ffc1ad4caf8

EEClass:     00007ffc1adab1e8

Size:        56(0x38) bytes

File:        C:\Windows\Microsoft.Net\assembly\GAC_MSIL\WindowsBase\v4.0_4.0.0.0__31bf3856ad364e35\WindowsBase.dll

Fields:

              MT    Field   Offset                 Type VT     Attr            Value Name

0000000000000000  4001240        8                       0 instance 0000020c4a784f40 _priorityChains

0000000000000000  4001241       10                       0 instance 0000020c4a785078 _cacheReusableChains

00007ffc1b18f340  4001242       18 ...Canon, mscorlib]]  0 instance 0000020c31b84d68 _head

00007ffc1b18f340  4001243       20 ...Canon, mscorlib]]  0 instance 0000020ce073ca68 _tail

00007ffc2b4d85a0  4001244       28         System.Int32  1 instance           889015 _count

这卦象很不吉利，UI 队列居然积压了高达 88w 的未处理任务，难怪这位朋友说软件卡死了，其实UI线程在忙碌的任务处理，看样子没个几天几夜搞不定哈。

接下来的问题是为什么会积压这么多，要想找到这个问题的答案，可以从 88w 的queue队列中抽选几个任务，看看大概都是些什么，展开上面的 _tail 节点即可。



0:000> !DumpObj /d 0000020ce073ca68

Name:        System.Windows.Threading.PriorityItem`1[[System.Windows.Threading.DispatcherOperation, WindowsBase]]

MethodTable: 00007ffc1ad4e5e0

EEClass:     00007ffc1adb28a0

Size:        64(0x40) bytes

File:        C:\Windows\Microsoft.Net\assembly\GAC_MSIL\WindowsBase\v4.0_4.0.0.0__31bf3856ad364e35\WindowsBase.dll

Fields:

              MT    Field   Offset                 Type VT     Attr            Value Name

00007ffc2b4da238  400123a        8       System.__Canon  0 instance 0000020ce073c898 _data

...

0:000> !DumpObj /d 0000020ce073c840

Name:        System.Action

MethodTable: 00007ffc2b55aff0

EEClass:     00007ffc2b665440

Size:        64(0x40) bytes

File:        C:\Windows\Microsoft.Net\assembly\GAC_64\mscorlib\v4.0_4.0.0.0__b77a5c561934e089\mscorlib.dll

Fields:

              MT    Field   Offset                 Type VT     Attr            Value Name

00007ffc2b4d5dd8  40002f3        8        System.Object  0 instance 0000020c4ba28050 _target

00007ffc2b4d5dd8  40002f4       10        System.Object  0 instance 0000000000000000 _methodBase

00007ffc2b5531f8  40002f5       18        System.IntPtr  1 instance     7ffbcfb85b10 _methodPtr

...

0:000> !U 7ffbcfb85b10

Unmanaged code

00007ffb`cfb85b10 e9db38e700      jmp     00007ffb`d09f93f0

00007ffb`cfb85b15 5f              pop     rdi

00007ffb`cfb85b16 61              ???

00007ffb`cfb85b17 0040dc          add     byte ptr [rax-24h],al

00007ffb`cfb85b1a c8cffb7f        enter   0FBCFh,7Fh

00007ffb`cfb85b1e 0000            add     byte ptr [rax],al

00007ffb`cfb85b20 e80bea555f      call    clr!PrecodeFixupThunk (00007ffc`2f0e4530)

00007ffb`cfb85b25 5e              pop     rsi

00007ffb`cfb85b26 0000            add     byte ptr [rax],al

00007ffb`cfb85b28 68e1c8cffb      push    0FFFFFFFFFBCFC8E1h

0:000> !U 00007ffb`d09f93f0

Normal JIT generated code

WpfApp.ViewModel.CalculatedIsocenterShiftViewModel.<UpdateLineGraph>b__93_0()

Begin 00007ffbd09f93f0, size f54

>>> 00007ffb`d09f93f0 55              push    rbp

...

从卦中可以看到有一个 <UpdateLineGraph>b__93_0 方法，看样子这是一个匿名方法，接下来用 ilspy 打开观察源代码，截图如下：

从卦中的代码看，尼玛，这是兵家大忌哈。。。居然让UI线程做什么复杂的业务逻辑，这怎么不让 UI线程累死。。。

为了佐证，可以使用 ~*e !clrstack 观察此时的各个线程栈，可以发现目前有两个线程正在通过 Dispatcher 给UI发通知并等待UI线程响应，截图如下：

到这里基本就真相大白了，这位朋友应该是高频的往UI打数据（画图），导致软件卡死。

三：总结

这次卡死事故是这位朋友犯了兵家大忌，UI线程只用来更新UI，不要将复杂的业务逻辑丢给UI去做。