.Net Core服务诊断排查

前言：

　近期在项目中出现了几次服务内存资源占用较高的情况，特回顾梳理下排查过程以及对相应问题的排查方法总结。

一、Dump抓取

　抓取dump的方式有多种，下面介绍几种常用的：

　　1. 任务管理器中找到程序进程，右键菜单：创建转存储文件

　　　

　　　注意：需要以程序运行的位数运行任务管理器抓取Dump

　　2. DotNet 全局工具：dotnet-dump；工具可适用于Windows、Linux、macOS平台

　　　a) 安装全局dotnet-dump工具：

dotnet tool install --global dotnet-dump

　　　b) 使用该工具抓取dump:

dotnet-dump collect [-h|--help] [-p|--process-id] [-n|--name] [--type] [-o|--output] [--diag]

• • -h|--help：显示命令行帮助。
  • -p|--process-id <PID>：指定从中收集转储的进程的 ID 号。
  • -n|--name <name>：指定从中收集转储的进程的名称。
  • --type <Full|Heap|Mini>：指定转储类型，它确定从进程收集的信息的类型。 有三种类型：Full - 最大的转储，包含所有内存（包括模块映像）。Heap - 大型且相对全面的转储，其中包含模块列表、线程列表、所有堆栈、异常信息、句柄信息和除映射图像以外的所有内存。Mini - 小型转储，其中包含模块列表、线程列表、异常信息和所有堆栈。如果未指定，则 Full 为默认类型。
  • -o|--output <output_dump_path>：应在其中写入收集的转储的完整路径和文件名。如果未指定：在 Windows 上默认为 .\dump_YYYYMMDD_HHMMSS.dmp ；在 Linux 上默认为 ./core_YYYYMMDD_HHMMSS ；YYYYMMDD 为年/月/日，HHMMSS 为小时/分钟/秒。
  • --diag：启用转储收集诊断日志记录。

　　3、ProcDump抓取Dump工具：自动抓取

　　　　命令语法：

procdump.exe [-mm] [-ma] [-mp] [-mc Mask] [-md Callback_DLL] [-mk]
             [-n Count]
             [-s Seconds]
             [-c|-cl CPU_Usage [-u]]
             [-m|-ml Commit_Usage]
             [-p|-pl Counter_Threshold]
             [-h]
             [-e [1 [-g] [-b]]]
             [-l]
             [-t]
             [-f  Include_Filter, ...]
             [-fx Exclude_Filter, ...]
             [-o]
             [-r [1..5] [-a]]
             [-at Timeout]
             [-wer]
             [-64]
             {
                 {{[-w] Process_Name | Service_Name | PID} [Dump_File | Dump_Folder]}
             |
                 {-x Dump_Folder Image_File [Argument, ...]}
             }

　　　参数说明：　　　　

参数	说明
-a	避免中断。 需要 -r。 如果触发器会导致目标因超出并发转储限制而长时间挂起，将跳过触发器。
-at	避免超时中断。 在 N 秒时取消触发器的集合。
-b	将调试断点视为异常 (否则忽略它们) 。
-c	CPU 阈值，用于创建进程的转储。
-cl	CPU 阈值，低于该阈值可创建进程的转储。
-d	调用指定 DLL 的名为 MiniDumpCallbackRoutine 的小型转储回调例程。
-e	当进程遇到未经处理异常时编写转储。 包括 1，以在出现第一机会异常时创建转储。
-f	筛选第一个可能异常。 支持通配符 (*) 。 若要仅显示名称而不进行转储，请使用空白 ("") 筛选器。
-fx	筛选 (排除) 异常内容和调试日志记录。 支持通配符。
-g	在托管进程中作为本机调试器运行， (互操作) 。
-h	如果进程有挂起的窗口， (在至少 5 秒未响应窗口消息时写入) 。
-i	将 ProcDump 安装为 AeDebug 事后调试器。 仅支持使用 -ma、-mp、-d 和 -r 作为附加选项。
-k	克隆到 (-r) 或转储收集结束时终止进程
-l	显示进程的调试日志记录。
-m	内存提交阈值（以 MB 为单位）用于创建转储。
-ma	编写包含所有进程内存的转储文件。 默认转储格式仅包含线程和处理信息。
-mc	编写自定义转储文件。 包括由指定的十六进制MINIDUMP_TYPE掩码 (内存) 。
-md	编写回调转储文件。 包括由指定 DLL 的名为 MiniDumpCallbackRoutine 的 MiniDumpWriteDump 回调例程定义的内存。
-mk	同时编写内核转储文件。 包括进程中线程的内核堆栈。 使用克隆 (-r) 时，OS 不支持内核转储 (-mk) 。 使用多个转储大小时，会针对每个转储大小执行内核转储。
-ml	当内存提交低于指定的 MB 值时触发。
-mm	使用默认模式编写 (转储) 。
-mp	使用线程和句柄信息以及所有读/写进程内存编写转储文件。 为了最大程度地减小转储大小，将搜索大于 512MB 的内存区域，如果找到，则排除最大的区域。 内存区域是大小相同的内存分配区域的集合。 删除此内存 (缓存) 将Exchange和SQL Server转储减少 90% 以上。
-n	退出前要写入的转储数。
-o	覆盖现有的转储文件。
-p	超过阈值时，对指定性能计数器触发。 注意：若要在进程有多个实例运行时指定进程计数器，请使用具有以下语法的进程 ID："\Process (< name > _ < pid >) \counter"
-pl	当性能计数器低于指定值时触发。
-r	使用克隆进行转储。 并发限制是可选的 (默认为 1，最大为 5) 。 警告：高并发值可能会影响系统性能。 - Windows 7：使用反射。 OS 不支持 -e。 - Windows 8.0：使用反射。 OS 不支持 -e。 - Windows 8.1+：使用 PSS。 支持所有触发器类型。
-s	写入转储之前连续秒 (默认值为 10) 。
-t	在进程终止时写入转储。
-u	将 CPU 使用率视为与 -c (一) 。 作为唯一选项，卸载 ProcDump 作为事后调试器。
-w	等待指定的进程启动（如果该进程未运行）。
-wer	将 (最大) 排队到Windows 错误报告。
-x	使用可选参数启动指定的映像。 如果是应用商店应用程序或包，ProcDump 将在下次激活时启动， (激活) 。
-64	默认情况下，在 64 位进程上运行时，ProcDump 将捕获 32 位进程的 32 位Windows。 此选项将替代 以创建 64 位转储。 仅用于 WOW64 子系统调试。
-?	使用 -？ -e 查看示例命令行。

　　　示例：

　　　　当进程在 5 秒钟内 CPU 使用率超过 50% 时，最多写入 2 个名为"w3wp"的进程的微型转储：

procdump -ma -s 5 -n 2 -c 50 w3wp

二、Dump分析

　根据前面几方式得到的Dump文件，下一步就是对Dump进行分析确认问题原因：

　1、Windbug Preview 分析：

　　Windbg Preview是windows平台上的一款相当强大的调试工具，可以从msdn网站下载得到，最新版本包含在windows sdk中，默认会被安装在C:\Program Files\Debugging Tools for Windows 目录中，可以直接把这个目录打包复制到其它机器上使用。

　　Windbug常用命令：

• • !analyze -v    自动分析dump
  • kv    查看栈回溯
  • .ecxr    显示当前异常上下文
  • .cxr    切换异常帧上下文
  • .exr    显示异常信息
  • .frame    设置当前栈帧
  • dv    显示当前栈帧局部变量
  • dd    显示内存中的数据
  • r    查看寄存器
  • lmvm    查看模块详细信息
  • r    可以显示系统崩溃时的寄存器，和最后的命令状态
  • dd    显示当前内存地址，dd 参数：显示参数处的内存
  • u    可以显示反汇编的指令
  • kb    显示call stack 内容

　　　

　2、VS分析Dump：

　　a) 使用VS打开dump文件：

　　　

　可以看到该dump的基本信息，接下来设置符号文件：

　　　

b) 分析Dump中内存情况：调试托管内存

　

　　　可以看到当前托管资源中内存占用情况，如果有多个dump还可以对比dump中内存增长变化

　　　查看对象内容：

　　　

c) 查看当前运行的进程列表：（设置了符号文件后可以查看当前堆栈信息，以及跳转到代码逻辑）

　　

　3、dotnet-dump分析：

　　分析命令：

dotnet-dump analyze <dump_path> [-h|--help] [-c|--command]

　　SOS命令支持：

命令	函数
soshelp|help	显示所有可用命令
soshelp|help <command>	执行指定的命令。
exit|quit	退出交互模式。
clrstack <arguments>	仅提供托管代码的堆栈跟踪。
clrthreads <arguments>	列出正在运行的托管线程。
dumpasync <arguments>	显示有关垃圾回收堆上异步状态机的信息。
dumpassembly <arguments>	显示有关指定地址处程序集的详细信息。
dumpclass <arguments>	显示有关指定地址处的 EEClass 结构的信息。
dumpdelegate <arguments>	显示有关指定地址处的委托的信息。
dumpdomain <arguments>	显示所有 AppDomain 和指定域中的所有程序集的信息。
dumpheap <arguments>	显示有关垃圾回收堆的信息和有关对象的收集统计信息。
dumpil <arguments>	显示与托管方法关联的 Microsoft 中间语言 (MSIL)。
dumplog <arguments>	将内存中压力日志的内容写入到指定文件。
dumpmd <arguments>	显示有关指定地址处的 MethodDesc 结构的信息。
dumpmodule <arguments>	显示有关指定地址处的模块的信息。
dumpmt <arguments>	显示有关指定地址处的 MethodTable 的信息。
dumpobj <arguments>	显示有关位于指定地址处的对象的信息。
dso|dumpstackobjects <arguments>	显示在当前堆栈的边界内找到的所有托管对象。
eeheap <arguments>	显示有关内部运行时数据结构所使用的进程内存的信息。
finalizequeue <arguments>	显示所有已进行终结注册的对象。
gcroot <arguments>	显示有关对指定地址处的对象的引用（或根）的信息。
gcwhere <arguments>	显示传入参数在 GC 堆中的位置。
ip2md <arguments>	显示 JIT 代码中指定地址处的 MethodDesc 结构。
histclear <arguments>	释放由 hist* 命令系列使用的任何资源。
histinit <arguments>	从保存在调试对象中的压力日志初始化 SOS 结构。
histobj <arguments>	显示与 <arguments> 相关的垃圾回收压力日志重定位。
histobjfind <arguments>	显示在指定地址处引用对象的所有日志项。
histroot <arguments>	显示与指定根的提升和重定位相关的信息。
lm|modules	显示进程中的本机模块。
name2ee <arguments>	显示 <argument> 的 MethodTable 和 EEClass 结构。
pe|printexception <arguments>	显示从 Exception 类派生的 <argument> 的任何对象。
setsymbolserver <arguments>	启用符号服务器支持
syncblk <arguments>	显示 SyncBlock 持有者信息。
threads|setthread <threadid>	设置或显示 SOS 命令的当前线程 ID。

　　例如：

dotnet-dump analyze "w3wp (2).DMP"

三、案例：

　　问题现象：xxx服务请求响应耗时较长，导致业务无法正常开展

　　排查过程：

　　　1、查看内存情况，Oracle连接数量较大

　　　　

　　　2、查看线程中都为Oracle连接等待：

　　　　

　　　3、最终确认请求被卡到了Oracle处理

四、总结

　　1、在排查服务相关问题时，分析dump方式是最直接的方式；而vs方式分析dump是最直接、方便、简单的方式。

　　2、通过windbug分析dump是最完整的方式

参考：

　　windbg命令