9.11 strace：跟踪进程的系统调用、ltrace：跟踪进程调用库函数

strace

　　是Linux环境下的一款程序调试工具，用于检查一个应用程序所使用的系统调用以及它所接收的系统信息。strace会追踪程序运行时的整个生命周期，输出每一个系统调用的名字、参数、返回值和执行所消耗的时间等，是高级运维和开发人员排查问题的杀手铜。

strace命令的参数选项及说明

-c    统计每一个系统调用所执行的时间、次数和出错的次数等

-d    输出strace关于标准错误的调试信息

-f    跟踪目标进程，以及目标进程创建的所有子进程

-ff   如果提供-o filename，则将所有进程的跟踪结果输出到相应的filename.pid中，pid是各进程的进程号

-i    输出系统调用的入口指针

-q    禁止输出关于脱离的消息

-r    输出每一个系统调用的相对时间

-t    在输出中的每一行前加上时间信息。例如16：45：28

-tt   在输出中的每一行前加上时间信息，精确到微秒。例如11：18：59.759546端

-ttt  在输出中的每一行前加上时间信息，精确到微秒，而且时间表示为UNIX时间戳。例如1486111461.650434

-T    显示每次系统调用所花费的时间

-v    对于某些相关调用，把完整的环境变量、文件stat结构等打印出来

-x    以十六进制形式输出非标准字符率

-xx   所有字符串以十六进制形式输出

-e expr 输出过滤器，通过表达式，可以过滤掉你不想要的输出

        expr是一个表达式，用于控制如何跟踪：[qualifier=][!][valuel[,value2]..

        说明：

        ①qualifier 只能是trace、abbrev、verbose、raw、signal、read、write其中之一

        ②value是用来限定的符号或数字

        ③默认的qualifier是trace

        ④感叹号是否定符号

        例如：

        -e open等价于-e trace=open，表示只跟踪open调用

        而-e trace!=open表示跟踪除了open以外的其他调用

        常见选项：

        -e trace=[set]    只跟踪指定的系统调用

        -e trace=file     只跟踪与文件操作有关的系统调用

        -e trace=process  只跟踪与进程控制有关的系统调用

        -e trace-network  只跟踪与网络有关的系统调用

        -e trace=signal   只跟踪与系统信号有关的系统调用

        -e trace=desc     只跟踪与文件描述符有关的系统调用

        -e trace=ipc      只跟踪与进程通信有关的系统调用

        -e abbrev=[set]   设定strace输出的系统调用的结果集

        -e raw=[set]      将指定的系统调用的参数以十六进制显示

        -e signal=[set]   指定跟踪的系统信号

        -e read=[set]     输出从指定文件中读出的数据

        -e write=[set]    输出写入到指定文件中的数据

-o filename    将strace的输出写入文件filename

-p pid         指定要跟踪的进程pid，要同时跟踪多个pid，重复多次p选项即可*

-s strsize     指定输出的字符串的最大长度，默认为32。并没有将文件名视为字符串，默认全部输出

-u username    以usemame的UID和GID执行所跟踪的命令

排查Nginx403 forbidden错误

strace -tt -f /applicatton/nginx/sbin/nginx

https://blog.51cto.com/oldboy/1633952

只跟踪与文件操作有关的系统调用

strace -tt -f -e trace=file /application/nginx/sbin/nginx #只跟综与文件操作有关的系统调用。

通过pid 跟踪进程

[root@bzhl ~]# pgrep nginx

1884

7785

7786

7787

[root@bzhl ~]# pstree -p 1884

nginx(1884)─┬─nginx(7785)

├─nginx(7786)

└─nginx(7787)

[root@bzhl ~]# strace -tt -f -e trace=file -p 7785

strace: Process 7785 attached

跟踪系统调用统计

strace不仅能够追踪系统调用，使用选项-c还能对进程所有的系统调用做一个统计分析。

[root@bzhl ~]# which nginx

/usr/bin/nginx

[root@bzhl ~]# strace -c /usr/bin/nginx

% time     seconds  usecs/call     calls    errors syscall

------ ----------- ----------- --------- --------- ----------------

22.33    0.001129           7       153        52 open

15.55    0.000786           6       123           close

10.80    0.000546           6        95           mmap

  8.53    0.000431          13        32           write

  7.66    0.000387          10        39           read

  6.47    0.000327           7        48           mprotect

  5.38    0.000272          12        22           munmap

  4.35    0.000220           3        87           fstat

  3.20    0.000162          32         5           nanosleep

  2.87    0.000145           8        19           socket

  2.67    0.000135           4        38           pread64

  2.29    0.000116          29         4         4 connect

  1.19    0.000060           4        15        15 bind

  1.03    0.000052           3        16         5 stat

  1.03    0.000052           9         6           getdents

  0.99    0.000050           3        15           setsockopt

  0.65    0.000033          11         3           openat

  0.63    0.000032           2        15           ioctl

  0.63    0.000032           5         6         6 mkdir

  0.47    0.000024           2        12           fcntl

  0.16    0.000008           8         1           statfs

  0.14    0.000007           7         1         1 readlink

  0.10    0.000005           5         1           epoll_create

  0.08    0.000004           2         2           rt_sigaction

  0.08    0.000004           2         2           uname

  0.08    0.000004           2         2           gettimeofday

  0.08    0.000004           4         1           futex

  0.06    0.000003           3         1           poll

  0.06    0.000003           3         1           lseek

  0.06    0.000003           2         2           getrlimit

  0.06    0.000003           3         1           getppid

  0.06    0.000003           3         1           sched_getaffinity

  0.04    0.000002           1         2           brk

  0.04    0.000002           2         1           rt_sigprocmask

  0.04    0.000002           2         1           getuid

  0.04    0.000002           2         1           arch_prctl

  0.04    0.000002           2         1           set_tid_address

  0.04    0.000002           2         1           set_robust_list

  0.02    0.000001           1         1           geteuid

  0.00    0.000000           0         1         1 access

  0.00    0.000000           0         1           execve

------ ----------- ----------- --------- --------- ----------------

100.00    0.005055                   779        84 total

上面的结果将清楚地告诉我们调用了哪些系统函数，调用的次数是多少，消耗了多少时间等信息，这对我们分析程序来说是非常有用的。

重定向输出。

strace -c -o tongji.log /application/nginx/sbin/nginx #用 -o 选项将strace的结果输出到文件中

对系统调用进行计时

strace -T /application/nginx/sbin/ngirnx #<=使用选项-T将每个系统调用所花费的时间打印出来，每个调用的时间花费在调用行最右边的尖括导里面。

小结：strace命令很适合处埋程序僵尸、命令执行报错等问题，如果从程序日志和系统日志中看不出问题出现的原因，则可以strace一下，也许会有答案，不过也需要使用者有足够的耐心去查看输出！

ltrace：跟踪进程调用库函数

ltrace 能够跟踪进程的库函数调用，它会显现出调用了哪个库函数，而 strace则是跟踪进程的每个系统调用。

ltrace命令的参数选项及说明

-c    统计库函数每次调用的时间，最后程序退出时打印摘要

-C    解码低级别名称（内核级）为用户级名称

-d    打印调试信息

-e expr    输出过滤器，通过表达式，可以过滤掉你不想要的输出

          -e printf  表示只查看printf函数调用

          -e !printf 表示查看除printf函数以外的所有函数调用

-f         跟踪子进程

-o filename   将ltrace的输出写入文件filename

-p pid     指定要跟踪的进程pid

-r         输出每一个调用的相对时间

-S         显示系统调用

-t         在输出中的每一行前加上时间信息。例如16：45：28

-tt        在输出中的每一行前加上时间信息，精确到微秒。例如11：18：59.759546

-ttt       在输出中的每一行前加上时间信息，精确到微秒，而且时间表示为UNIX时间截。例如1486111461.650434

-T          显示每次调用所花费的时间

-u username 以username的UID和GID执行所跟踪的命令

Itrace使用

ltrace的用法与strace非常相似，选项功能也是类似

[root@bzhl ~]# ltrace /usr/bin/nginx

通过pid 跟踪进程调用库函数。

[root@bzhl ~]# pgrep nginx

1884

7785

7786

7787

[root@bzhl ~]# ltrace -p 1884