使用jstack排查线程问题

以一个例子来演示排查服务器cpu占用率过高的问题。

准备

将下面的代码文件上传到服务器上，然后使用javac编译，并使用java命令将程序跑起来。

public class JStackCase {

    public static void main(String[] args) {
        ExecutorService executor = Executors.newFixedThreadPool(5);
        executor.submit(new Task());
        executor.submit(new Task());
    }

}

class Task implements Runnable {

    @Override
    public void run() {
        synchronized (this) {
            calculate();
        }
    }

    public void calculate() {
        int i = 0;
        while (true) {
            i++;
        }
    }
}

显然，这段程序会导致CPU占用率较高。接下来，我们进行问题排查。

1.定位进程

使用top命令查看cpu占用情况，默认按cpu使用率从高到低排序。我们发现pid为6624的进程占用了70%的cpu。

[root@localhost bin]# top
   PID USER      PR  NI    VIRT    RES    SHR S %CPU %MEM     TIME+ COMMAND
  6624 root      20   0 2249296  18380  10704 S 70.0  1.8   6:00.17 java
  6723 root      20   0  157716   2112   1472 R  5.0  0.2   0:00.03 top
     1 root      20   0  193724   3608   1972 S  0.0  0.4   0:07.07 systemd
     2 root      20   0       0      0      0 S  0.0  0.0   0:00.01 kthreadd
     3 root      20   0       0      0      0 S  0.0  0.0   0:13.54 ksoftirqd/0
     5 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 kworker/0:0H
     7 root      rt   0       0      0      0 S  0.0  0.0   0:00.40 migration/0
     8 root      20   0       0      0      0 S  0.0  0.0   0:00.00 rcu_bh
     9 root      20   0       0      0      0 S  0.0  0.0   0:04.98 rcu_sched
    10 root      rt   0       0      0      0 S  0.0  0.0   0:04.42 watchdog/0
    12 root      20   0       0      0      0 S  0.0  0.0   0:00.00 kdevtmpfs
    13 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 netns
    14 root      20   0       0      0      0 S  0.0  0.0   0:00.00 khungtaskd
    15 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 writeback
    16 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 kintegrityd
    17 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset
    18 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 kblockd
    19 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 md
    25 root      20   0       0      0      0 S  0.0  0.0   0:10.50 kswapd0
    26 root      25   5       0      0      0 S  0.0  0.0   0:00.00 ksmd
    27 root      39  19       0      0      0 S  0.0  0.0   0:00.21 khugepaged
    28 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 crypto
    36 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 kthrotld
    38 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 kmpath_rdacd
    39 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 kpsmoused

2.定位线程

查看pid为6624的进程下的线程cpu占用情况。发现6634和6635线程几乎占用了大部分的cpu。

[root@localhost bin]# top -Hp 6624
   PID USER      PR  NI    VIRT    RES    SHR S %CPU %MEM     TIME+ COMMAND
  6634 root      20   0 2249296  16532   8852 R 49.8  1.7   6:34.75 java
  6635 root      20   0 2249296  16532   8852 R 49.5  1.7   6:34.69 java
  6624 root      20   0 2249296  16532   8852 S  0.0  1.7   0:00.04 java
  6625 root      20   0 2249296  16532   8852 S  0.0  1.7   0:00.09 java
  6626 root      20   0 2249296  16532   8852 S  0.0  1.7   0:00.01 java
  6627 root      20   0 2249296  16532   8852 S  0.0  1.7   0:00.00 java
  6628 root      20   0 2249296  16532   8852 S  0.0  1.7   0:00.00 java
  6629 root      20   0 2249296  16532   8852 S  0.0  1.7   0:00.00 java
  6630 root      20   0 2249296  16532   8852 S  0.0  1.7   0:00.00 java
  6631 root      20   0 2249296  16532   8852 S  0.0  1.7   0:00.00 java
  6632 root      20   0 2249296  16532   8852 S  0.0  1.7   0:00.00 java
  6633 root      20   0 2249296  16532   8852 S  0.0  1.7   0:00.54 java

3.定位代码

接下来jstack就要上场了。可以使用jstack -l [pid]查看线程的堆栈信息。

jstack -l  [pid]  //进程id

当然，我们可以过滤我们只关注的线程的转储信息。

将线程pid转为16进制

因为thread id在栈信息中是以十六进制的形式显示的，所以可以使用printf "%x \n" [pid]命令将线程pid转为16进制。

[root@localhost bin]# printf "%x \n" 6634
19ea
[root@localhost bin]# printf "%x \n" 6635
19eb

过滤19ea线程的堆栈信息，使用jstack -l <pid> | grep <thread-hex-id> -A 10。-A 10 参数用来指定显示行数，否则只会显示一行信息。

[root@localhost bin]# jstack -l 6624 | grep 19ea -A 10
"pool-1-thread-1" #8 prio=5 os_prio=0 tid=0x00007f22e00e4800 nid=0x19ea runnable [0x00007f22d0729000]
   java.lang.Thread.State: RUNNABLE
    at Task.calculate(JStackCase.java:26)
    at Task.run(JStackCase.java:19)
    - locked <0x00000000f0a60ff8> (a Task)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:748)

可以看到定位到代码JstackCase类中第26行。接下来在分析对应的代码即可。

通常，在线上环境远比这复杂，所以需要多次获取线程堆栈信息，进行对比综合分析。所以，仅仅单独分析一个文件是可能并没有太大意义的。

当然我们也可以使用其它的工具来排查问题，比如系统自带的perf，Alibaba开源的工具Arthas等。