java.lang.OutOfMemoryError- unable to create new native thread 问题排查

问题描述

最近连续两天大约凌晨3点，线上服务开始异常，出现OOM报错。且服务所在的物理机只能ping通，但是无法登录。报错信息如下：

ERROR 04-12 03:01:43,930 [DefaultQuartzScheduler_Worker-3] JobRunShell[JobRunShell]:211 Job threw an unhandled Exception:

java.lang.OutOfMemoryError: unable to create new native thread

        at java.lang.Thread.start0(Native Method)

        at java.lang.Thread.start(Thread.java:714)

        at java.util.concurrent.ForkJoinPool.createWorker(ForkJoinPool.java:1483)

        ...

        at org.quartz.core.JobRunShell.run(JobRunShell.java:202)

        at org.quartz.simpl.SimpleThreadPool$WorkerThread.run(SimpleThreadPool.java:573)

排查过程

根据日志OOM报错，怀疑是内存不足或内存泄露的原因，需要查看内存的使用情况。考虑到JConsole或VisualVM具有可视化界面，能看出历史变化趋势，更直观地排查问题，因此为程序配置了jmx参数。重启应用，使用VisualVM连接应用的jmx端口。应用配置jmx端口的参数如下：

-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false  -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=9998

VisualVM显示使用的内存是正常的，没有持续飙升。但是线程数却比较异常，随时间推移在持续增加。因此考虑看看是什么线程在持续增加，jstack是一个比较好用的工具，它用于生成 JAVA 虚拟机当前时刻的线程快照。

使用jstack -F PID打印出了所有线程，发现有大片下面的堆栈信息。注意到com.xxx.http.IdleConnectionMonitorThread.run() @bci=15, line=22 (Compiled frame)方法出现的特别多。

Thread 7760: (state = BLOCKED)

 - sun.misc.Unsafe.park(boolean, long) @bci=0 (Compiled frame; information may be imprecise)

 - java.util.concurrent.ForkJoinPool.awaitWork(java.util.concurrent.ForkJoinPool$WorkQueue, int) @bci=354, line=1821 (Compiled frame)

 - java.util.concurrent.ForkJoinPool.runWorker(java.util.concurrent.ForkJoinPool$WorkQueue) @bci=44, line=1690 (Compiled frame)

 - java.util.concurrent.ForkJoinWorkerThread.run() @bci=24, line=157 (Compiled frame)

Thread 7759: (state = BLOCKED)

 - java.lang.Object.wait(long) @bci=0 (Compiled frame; information may be imprecise)

 - com.xxx.http.IdleConnectionMonitorThread.run() @bci=15, line=22 (Compiled frame)

 - java.lang.Thread.run() @bci=11, line=745 (Compiled frame)

Thread 7758: (state = BLOCKED)

 - java.lang.Object.wait(long) @bci=0 (Compiled frame; information may be imprecise)

 - com.xxx.http.IdleConnectionMonitorThread.run() @bci=15, line=22 (Compiled frame)

 - java.lang.Thread.run() @bci=11, line=745 (Compiled frame)

在项目搜索类IdleConnectionMonitorThread，并查看22行内容。发现如果不执行shutdown()方法，那么该后台线程会持续地执行wait()方法，导致该线程不退出。实际情况是确实没有执行shutdown()方法，随着每10分钟执行一次计算任务，每次计算任务会执行一批http请求，每个http请求就会创建出一个后台线程，这样会导致线程数越来越多。

联系了sdk的提供方，提供了后台进程的停止方法。在程序请求http完成后，释放请求的资源，停止了后台线程。使用VisualVm观察了一段时间，发现线程数不在增长了，未出现OOM报错。至此问题解决。

虽然问题解决了，不过还有个疑问，线程数达到多少会触发unable to create new native thread报错。查阅博客了解到，一个进程最多能创建多少线程是受多因素影响的，基本上是系统支持的最大PID、用户可创建最大线程数、系统支持的最大线程数的最小值。通过查看服务器配置，系统支持的最大PID的值是最小的：32768，也就是说一个进程最多创建大约3w个线程。由于服务器上部署了线上服务，不方便在复现验证创建多少个线程时出现OOM报错。

java.lang.OutOfMemoryError: unable to create new native thread问题排查以及当前系统最大进程数量

一个JVM可以创建多少线程，首先由JVM设置决定（-Xms，-Xmx，-Xss），另外受到外部因素影响，就是系统设置（最大PID、最大线程、栈内存大小、最重要的还是物理内存由多少）、其二就是用户设置（用户可以运行多少个进程或线程），综合上述因素的最小值就是一个JVM可以创建多少线程。

系统支持的最大进程数

cat /proc/sys/kernel/pid_max

32768

系统支持的最大线程数

cat /proc/sys/kernel/threads-max

513024

进程可用最大虚拟内存

ulimit -v

unlimited

最大栈大小

ulimit -s

8192

每个用户可创建最大进程数

ulimit -u

256512

总结

1.JConsole或VisualVM具有可视化界面，可以方便地查看CPU占用、内存使用、类数量、线程数的历史变化趋势。

2.jstack命令可以查看正在运行的程序当前时刻的所有线程信息。

3.一个进程最多能创建多少线程，是受多因素影响的，基本上是系统支持的最大PID、用户可创建最大线程数、系统支持的最大线程数的最小值。

参考资料