通过一次生产case深入理解tomcat线程池
最近生产上遇到一个case,终于想明白了原因,今天周末来整理一下
生产case
最近测试istio mesh的预热功能(调用端最小连接数原则)
来控制调用端进入k8s刚扩出来的容器的流量
因为刚启动的JVM解释执会导致慢请求,如果不控制流量会导致cpu突然飙升等带来的一系列连锁反应!
表像这里我借用github上有个哥们的相类似提问:

翻译一下:
首先突发流量导致线程突然上升到最大线程(800),
流量下来后还在工作的线程(busy threads)线程就下降到了 10,
但是tomcat的 currentThreadCount 仍然是 800。
根据对于线程池的理解,tomcat的工作线程空闲 60 秒(默认),它就会被回收呀,为啥一直下不来呢?
我和他只是配置有点不一样,表像是一样的,也是同样的疑问
问题重点
为什么流量下来后tomcat的工作线程居高不下迟迟得不到回收? 查文档或者搜google,都说设置maxIdleTime,其实它是有坑的
假设tomcat的配置如下(关键参数):
<!--The connectors can use a shared executor, you can define one or more named thread pools
<Executor name="tomcatThreadPool" namePrefix="catalina-exec-"
maxThreads="150" minSpareThreads="4" maxIdleTime="60000"/>
-->
<Connector port="8080"
protocol="org.apache.coyote.http11.Http11NioProtocol"
minSpareThreads="20"
maxThreads="1024"
maxConnections="10000"
connectionTimeout="60000"
acceptCount="150"/>
问题排查
根据tomcat源码
我们把上面几个核心参数都理一遍
acceptCount
TCP SYN QUEUE队列的长度 默认 100

connectionTimeout

默认 20000ms
对应Socket的SO_TIMEOUT属性 是用于指定 ServerSocket.accept 和 Socket.getInputStream().read 超时的套接字选项,超时会抛出SocketTimeoutException 【60000意味着如果超过1分钟还没有数据到达】
tomcat的核心流程
我们先讲讲下当请求进入,tomcat经历了哪些步骤:
tcp建立相关略
1)Acceptor线程处理 socket accept 2)Acceptor线程处理 注册registered OP_READ到多路复用器 3)ClientPoller线程 监听多路复用器的事件(OP_READ)触发 4)从tomcat的work线程池取一个工作线程来处理socket[http-nio-8080-exec-xx]
maxConnections
accptor线程和clientPoller线程的交互逻辑如下:


在这个交互中,每serverSock.accept()会被org.apache.tomcat.util.threads.LimitLatch计数 在closeSocket的时候减少计数!
LimitLatch这个对象的计数初始值就是配置的maxConnections值(默认为10000)
minSpareThreads和maxThreads
minSpareThreads 核心线程数 maxThreads 最大线程数
ClientPoller线程拿到read或者write事件后进行处理就会从tomcat的线程池拿到一个工作线程去处理
这里的tomcat的Connector在创建工作线程池就会用到这2个参数

注意 这里的线程池的keepAlivetime=60s
线程池相关知识(参考我之前的文章)
用一张图来表达各个参数的起作用点

梳理一下
当tomcat容器启动后

根据配置 创建 acceptor线程池(默认1个) poller线程池(默认2个)
工作线程池(20个根据我的配置)
假设突发流量打进来,因为我设置的maxThreads=1024
那么会一直创建新的nio处理线程到1024
等后面流量下去了,由于线程的keepalivetime=60s
只要服务一直都有请求进来,
工作线程会从 queue 中抢任务,只要抢到了一个任务,它的 keepalivetime 就会重置
由于我的服务高峰过后,每分钟的请求数量大约是 3000 ~ 4000 个,也就是说每个线程都有机会抢到任务,这应该就是线程一直存活的原因
(当然了没有机会抢到任务的就回收了,所以也不会一直是1024)
第二个问题,既然这样我有办法修改工作线程的keepalivetime吗
可以的,但是得换成用Executor创建的线程池(如下我改成了10s)
<!--The connectors can use a shared executor, you can define one or more named thread pools -->
<Executor name="tomcatThreadPool" namePrefix="catalina-exec-"
maxThreads="1024" minSpareThreads="20" maxIdleTime="10000"/>
<Connector port="8080"
protocol="org.apache.coyote.http11.Http11NioProtocol"
executor="tomcatThreadPool"
maxConnections="10000"
connectionTimeout="60000"
acceptCount="150"/>
如果你配置了Executor的话,那么Executor的创建线程池逻辑如下:

确认使用了maxIdleTime值来设置线程的keepalivetime
tomcat7配置解说官网:https://tomcat.apache.org/tomcat-7.0-doc/config/http.html
tomcat8配置解说官网:https://tomcat.apache.org/tomcat-8.0-doc/config/http.html
注意的一点是,一定要却别理解Excutor和Connector两种在创建线程池是有区别的,不能混淆了
如果用Connector创建的线程池是写死60s!
由于tomcat默认都是不推荐使用共享的Executor(被注释的), 但是在Connector里面又不支持设置工作线程的maxIdleTime, 这个有点不理解为什么这么设计!
总结
通过这个case,带着这些参数在tomcat里是怎么起作用的疑问,结合tomcat的源码,是次很有收获的梳理!
通过一次生产case深入理解tomcat线程池的更多相关文章
- Tomcat线程池的深入理解
1.工作机制: Tomcat启动时如果没有请求过来,那么线程数(都是指线程池的)为0: 一旦有请求,Tomcat会初始化minSpareThreads设置的线程数: 2.线程池作用: Tomcat的线 ...
- tomcat线程池
tomcat线程池和普通的线程池设计上有所区别,下面主要来看看它是如何设计的 tomcat中线程池的创建 org.apache.tomcat.util.net.AbstractEndpoint#cre ...
- 详解Tomcat线程池原理及参数释义
omcat线程池有如下参数: maxThreads, 最大线程数,tomcat能创建来处理请求的最大线程数 maxSpareTHreads, 最大空闲线程数,在最大空闲时间内活跃过,但现在处于空闲,若 ...
- 深入理解Java线程池:ScheduledThreadPoolExecutor
介绍 自JDK1.5开始,JDK提供了ScheduledThreadPoolExecutor类来支持周期性任务的调度.在这之前的实现需要依靠Timer和TimerTask或者其它第三方工具来完成.但T ...
- 深入理解 Java 线程池
一.简介 什么是线程池 线程池是一种多线程处理形式,处理过程中将任务添加到队列,然后在创建线程后自动启动这些任务. 为什么要用线程池 如果并发请求数量很多,但每个线程执行的时间很短,就会出现频繁的创建 ...
- 05 - Tomcat 线程池的配置与优化
添加 Executor 在server.xml中的Service节点里面,增加executor节点,然后配置connector的executor属性,如下: <Executor name=&qu ...
- 07深入理解Java线程池
之前面试baba系时遇到一个相对简单的多线程编程题,即"3个线程循环输出ADC",自己答的并不是很好,深感内疚,决定更加仔细的学习<并发编程的艺术>一书,到达掌握的强度 ...
- 深入理解java线程池—ThreadPoolExecutor
几句闲扯:首先,我想说java的线程池真的是很绕,以前一直都感觉新建几个线程一直不退出到底是怎么实现的,也就有了后来学习ThreadPoolExecutor源码.学习源码的过程中,最恶心的其实就是几种 ...
- 从一次生产消费者的bug看看线程池如何增加线程
0 背景 某个闲来无事的下午,看到旧有的项目中,有个任务调度的地方都是同步的操作,就是流程A的完成依赖流程B,流程B的完成依赖流程C,按此类推. 作为一名垃圾代码生产者,QA的噩梦.故障报告枪手的我来 ...
随机推荐
- 类其中的变量为final时的用法
类其中的变量为final时的用法: 类当中final变量没有初始缺省值,必须在构造函数中赋值或直接当时赋值.否则报错. public class Test { final int i; ...
- ZXing Blazor 扫码组件 , ssr/wasm通用
项目介绍 本项目是利用 ZXing 进行封装的 Blazor 组件库 直接调用手机或者桌面电脑摄像头进行扫码 项目截图 项目地址 https://github.com/den ...
- golang-grpc
目录 1. 什么是grpc和protobuf 1.1 grpc 1.2 protobuf 2.go下grpc 2.1官网下载protobuf工具 2.2 下载go的依赖包 2.3 编写proto文件 ...
- JavaScript基础第03天笔记
JavaScript基础第03天笔记 1 - 循环 1.1 for循环 语法结构 for(初始化变量; 条件表达式; 操作表达式 ){ //循环体 } 名称 作用 初始化变量 通常被用于初始化一个计数 ...
- 新手小白入门C语言第二章:基本语法
1. 语句 C 语言的代码由一行行语句(statement)组成.语句就是程序执行的一个操作命令.C 语言规定,语句必须使用分号结尾,除非有明确规定可以不写分号. 如: int x = 1; 这就是一 ...
- HCIE笔记-第一节-网络的基本概念
R&S= 路由交换 Datacom =数通 =数据通信 某个设备产生了数据之后,借助整体的网络到达目的地的过程. 网络历史 -- 数通为什么产生? 1946年:世界上第一台计算机诞生.军事 科 ...
- JavaScript学习高级1
Doucment(Dom)文档对象,用户控制html文档中的元素, <span id="span" onclick="fun();">1111& ...
- Java语言学习day12--7月11日
###16随机点名器代码实现 * A: 随机点名器案例代码 /* 随机点名器,集合改进 (学生的姓名和年龄) 现实中有学生这个事物,使用定义类的形式,描述学生事物 属性: 姓名,年龄 姓名存储了数组, ...
- 【python免费代码】设计一个简单的学生信息管理系统
文章目录 前言 一.理解 二.部分截图展示 三.代码 四.总结 前言 设计一个简单的学生信息管理系统,实现以下功能(bug) : 录入学生信息,信息以文件方式存储 以学生学号或者学生姓名为条件查询该学 ...
- Node爬取网站数据
npm安装cheerio和axios npm isntall cheerio npm install axios 利用cheerio抓取对应网站中的标签根据链接使用axios获取对应页面数据 cons ...