Debug 利器：pstack & strace

工作中难免会遇到各种各样的 bug，对于开发环境 or 测试环境的问题还好解决，可以使用 gdb 打断点或者在代码中埋点来定位异常;

但是遇到线上的 bug 就很难受了，由于生产环境不能随意替换、中断程序，如果日志中找不到问题原因，解决问题就会很棘手

这时候就需要请出这两位 debug 利器了 ———— pstack & strace

什么是 pstack

pstack 是 Linux 系统下的一个命令行工具，此命令可以显示指定进程每个线程的堆栈快照，便于排查程序异常和性能评估

pstack 是基于 gdb 实现的，通过 man pstack 可以发现，它其实是 gstack 的一个软链接

GSTACK(1)                  Linux Programmer's Manual                 GSTACK(1)

NAME

       gstack - print a stack trace of a running process

SYNOPSIS

       gstack pid

DESCRIPTION

       gstack attaches to the active process named by the pid on the command line, and prints out an execution stack trace.  If ELF symbols exist

       in the binary (usually the case unless you have run strip(1)), then symbolic addresses are printed as well.

       If the process is part of a thread group, then gstack will print out a stack trace for each of the threads in the group.

SEE ALSO

       nm(1), ptrace(2), gdb(1)

AUTHORS

       Ross Thompson <ross@whatsis.com>

       Red Hat, Inc. <http://bugzilla.redhat.com/bugzilla>

Red Hat Linux                     Feb 15 2008                        GSTACK(1)

[root@Centos6x64 bin]# pwd

/usr/bin

[root@Centos6x64 bin]# ll -h | grep gstack

-rwxr-xr-x. 1 root root    1.1K 3月  22 2017 gstack

lrwxrwxrwx. 1 root root       6 8月  24 21:21 pstack -> gstack

而 gstack 则是封装了 gdb 功能的 shell 脚本，通过 " thread apply all bt " 的命令获得输出所有的线程堆栈信息，再用 sed 进行替换和过滤

# Run GDB, strip out unwanted noise.

$GDB --quiet $readnever -nx /proc/$1/exe $1 <<EOF 2>&1 |

set width 0

set height 0

set pagination no

$backtrace

EOF

/bin/sed -n \

    -e 's/^\((gdb) \)*//' \

    -e '/^#/p' \

    -e '/^Thread/p'

什么是 strace

使用 pstack 获得的进程堆栈是程序的静态信息，而使用 strace 可以获得程序的动态信息，即程序现在正在做什么（执行哪些系统调用和所接收的信号）

strace 的功能主要是通过 ptrace 这个系统调用来实现的，它提供了父进程观察/控制子进程的能力

#include <sys/ptrace.h>

long ptrace(enum __ptrace_request request, pid_t pid, void *addr, void *data);

详见：ptrace(2) - Linux man page

当使用了 pstrace 跟踪子进程后，所有发送给被跟踪子进程的信号都会转发给父进程（SIGKILL 除外），而子进程则会阻塞，被标注为 TASK_TRACED 状态

父进程收到信号后，可以对阻塞的子进程进行检查和修改，然后让子进程继续运行

关于 strace 的参数可以参考：strace 跟踪进程中的系统调用

或者查看 Linux 手册 man strace

如何使用 pstack & strace 排查程序问题

pstack 的用法

通过 ps / pidof 命令获取到异常进程的 pid，执行 pstack [pid]，我们可以获得以下输出：

从上面的输出中我们可以得到很多信息

当前进程中有多少线程
各线程当前的调用堆栈（即这个线程正在做什么）

通过这些信息，我们可以简单判断线程是否挂死或者阻塞，再通过堆栈信息定位到代码中具体的函数进一步排查

另外需要注意一点，只有保留了 debug symbols 的程序才可以 pstack，否则将看不到调用栈（如下图）

strace 的用法

strace 的用法也很简单，常用的选项有这几个：

-f 跟踪目标进程，以及目标进程创建的所有子进程
-t 在输出中的每一行前加上时间信息(-tt 表示微秒级)
-T 显示每个系统调用所耗的时间

执行 strace ... -p [pid] 我们将获得如下的输出：

通过观察系统调用我们可以确认当前程序的行为，分析其消耗的时间、返回值是否正常

可以过滤指定的线程号，确认当前线程的行为是否符合预期

如果执行命令后完全没有输出，那么可以怀疑是否由于网络、IO等原因导致阻塞，或程序产生死锁

小结

有了这两个工具，当出现线上异常时，如果情况紧急，我们可以收集程序当前状态的信息，再进行救灾

待生产环境稳定后，可以慢慢分析是哪里产生的问题

另外分析 pstack / strace 的信息时，最好和日志对照观察