连接池你用对了吗?一次Unexpected end of stream异常的排查
能收获什么?
- 更加了解TCP协议
- Redis与客户端关闭连接的机制
- 基于Apache Common连接池的参数调优
- Linux网络抓包
情况简介
近期迁移了部分应用到K8s中,业务开发人员反馈说,会发现频繁出现 : redis.clients.jedis.exceptions.JedisConnectionException: Unexpected end of stream.
堆栈如下图:
发生这个问题的应用的环境如下:
- Java8
- Jedis 2.9.0
排查
由于开发人员说近期才出现这个情况,我们首先怀疑是不是K8s环境的问题,进行了一轮K8s的网络环境问题排查。
我们首先利用tcpdump在node节点和容器内进行抓包。
tcpdump -i <interfaceName> -C 100 -s0 -n -w node.pcap tcp
不出意外我们确实发现了大量由Redis服务器响应给客户端的RST(TCP Reset)包,连接重置。
至此我们还是怀疑是网络不稳定引起的。
我们搜索了TCP RST相关内容,可以看到RST一般由下列的几个情况引起:
- 到不存在的端口的连接请求
- 异常终止一个连接
- 检测半打开连接
极客的Redis,不按规矩出牌的"RST"?
随后我们又对网络又进行了几轮的测试。
突然觉得有点不对劲,我们点开了RST包之前的包查看了包的内容。
结果发现大部分是客户端发起quit
数据,Redis服务端返回ok RST
。
虽然包的状态是RST
,但包内容确又是跟商量好的一样是正常的"客户端说退出,服务端说ok"。
带着这个问题,我们查了下Redis的相关文档,确实在默认情况下Redis是这么约束的,quit之后返回一个RST
包。
按照常理当连接不需要在使用的时候应该关闭连接,这种情况不是应该是我们理解的"TCP的4次挥手"来进行这个连接的告别(关闭)仪式吗?
为什么Redis的连接关闭使用"RST"?
我的猜想是 不进行繁杂的4次挥手来提升性能。
这么做的好处是避免了4次挥手。
在网络情况差,客户端不稳定等情况下,能极大减少time_wait、close_wait等问题。
Redis利用了TCP机制重新约束了客户端和服务端来进行连接关闭,流程如下。
- 客户端发送 "quit"
- 服务端返回 "ok" + RST
- 服务端直接强制关闭连接
- 客户端收到 "ok" 后自己关闭这个连接,并自己保证后续不在使用这个连接进行通信
既然返回"RST"是正常的,那么是哪里出了问题呢?
我们根据堆栈抛出的时间具体查看对应的RST包后发现,这种RST的情况与上面的不一致,这一次客户端发送的并不是 "quit" 数据,而Redis确返回了 RST
。
这时我觉得是Jedis这边的问题,去看了Jedis的release notes和issue,发现并没有相关的BUG。
我们重新看一下TCP流的记录,发现这一次交互间隔了9分钟,最后一次交互为04:10:59秒的keepalive包,而发生问题的包的时间为04:19:57,我们又把返回RST
可能的原因放在了"检测半打开连接"这点上。
我又一次查看了业务使用的场景,发现了JedisPool按如下情况设置:
config.setNumTestsPerEvictionRun(3);
config.setTimeBetweenEvictionRunsMillis(Duration.ofMinutes(5).toMillis());
config.setMinIdle(5);
config.setMaxTotal(20);
config.setTestOnBorrow(false);
config.setTestWhileIdle(true);
根据上面的配置我们可知:
- 每次最多检测3个连接
- 每隔5分钟检测一次
- 最小空闲连接数为5
- 最大连接数为20
- 关闭获取连接时检查连接可用
- 开启空闲连接检测
- 最大连接空闲数为8(这边没有明确设置,是Pool的默认值)
带着这些已知的情况,我们去询问了DBA Redis的keepalive的设置。
DBA回复我们说:5分钟
至此我们知道了原因,那就是Pool的设置和Redis的配置不匹配引起的。
我们设定一个场景来推演:
- 并发10次使用Pool操作Redis
- 当操作完成后Pool中应该还有8个空闲连接(最大连接空闲数为8,所以这边不是10)
- 当5分钟过后再次进行并发10次的Redis操作
- 应该会出现5次
Unexpected end of stream
异常(5个新连接被建立,5个旧连接抛出异常)
为什么会出现5次异常?
因为根据Pool的设置,每5分钟才会检查池中的3个Redis连接是否正常,但当时池中有8个空闲的连接,也就是说还有5个连接在客户端是未知状态(8-3=5),这5个连接可能是可用的,也可能是不可用的,这取决于Redis的设置。
而当下Redis设置的也是5分钟,也就是说这8个连接全是不可用的,Pool根据空闲检查机制帮我们剔除了3个,那么还有5个连接是会被直接使用的,那么就会抛出5次异常。
重现问题以验证推演
验证代码如下:
JedisPoolConfig config = new JedisPoolConfig();
config.setNumTestsPerEvictionRun(3);
config.setTimeBetweenEvictionRunsMillis(Duration.ofMinutes(5).toMillis());
config.setMinIdle(5);
config.setMaxTotal(20);
config.setTestOnBorrow(false);
config.setTestWhileIdle(true);
JedisPool pool = new JedisPool(config, "x.x.x.x", 6379, 5000, "123456", 0);
List<Integer> connectionNumbers = Stream.of(0, 1, 2, 3, 4, 5, 6, 7, 8, 9).collect(Collectors.toList());
// 从池中获取10个连接后并一起关闭
connectionNumbers.stream().map(i -> pool.getResource()).collect(Collectors.toList())
.forEach(Jedis::close);
System.out.println(String.format("active: %d", pool.getNumActive()));
System.out.println(String.format("idle: %d", pool.getNumIdle()));
// 等待5分钟 + 5秒钟(避免刚好卡在5分钟时间点)
Thread.sleep(Duration.ofMinutes(5).toMillis() + 5000);
System.out.println(LocalDateTime.now());
System.out.println(String.format("active: %d", pool.getNumActive()));
System.out.println(String.format("idle: %d", pool.getNumIdle()));
// 从Pool中取出10个连接,来进行redis操作
connectionNumbers.stream()
.map(i -> pool.getResource())
.collect(Collectors.toList())
.forEach(resource -> {
try {
resource.get("key");
} catch (Exception e) {
e.printStackTrace();
}
});
结果如下:
确实发生了5次 Unexpected end of stream
异常。
写在最后
Jedis的连接池基于Apache Common中的连接池,大多数java中的连接池都是基于Apache。
所以该问题同样适用于常见的JDBC连接池。
关于TCP
可以发现,TCP协议"一厢情愿"总会出问题,更多时候得"你知我知"才能正常的使用。
TCP协议是真的很复杂的一个通信协议,不单单是三次握手4次挥手这么简单的内容。
连接池你用对了吗?一次Unexpected end of stream异常的排查的更多相关文章
- Java Mysql连接池配置和案例分析--超时异常和处理
前言: 最近在开发服务的时候, 发现服务只要一段时间不用, 下次首次访问总是失败. 该问题影响虽不大, 但终究影响用户体验. 观察日志后发现, mysql连接因长时间空闲而被关闭, 使用时没有死链检测 ...
- redis运用连接池报错解决
redis使用连接池报错解决redis使用十几小时就一直报异常 redis.clients.jedis.exceptions.JedisConnectionException: Could not g ...
- hibernate 3.* C3P0配置 以及为什么需要连接池!
Hibernate自带的连接池算法相当不成熟. 它只是为了让你快些上手,并不适合用于产品系统或性能测试中. 出于最佳性能和稳定性考虑你应该使用第三方的连接池.只需要用特定连接池的设置替换 hibern ...
- 使用druid连接池的超时回收机制排查连接泄露
起因:系统连接池满了 Exception wait millis 60012, active 2000, maxActive 2000, creating 0 加配置排查: <!-- 超过时间限 ...
- python - DBUtils 连接池减少oracle数据库的连接数
问题: 接到需求,告知项目的oracle连接次数过多,对系统造成太过大的负担,要求减少oracle数据库的连接次数 分析: 仔细分析代码以后,发现产生问题的原因,在于之前要求提升oracle监控的监控 ...
- HttpClient连接池设置引发的一次雪崩
事件背景 我在凤巢团队独立搭建和运维的一个高流量的推广实况系统,是通过HttpClient 调用大搜的实况服务.最近经常出现Address already in use (Bind failed)的问 ...
- 连接SQLServer时,因启用连接池导致孤立事务的原因分析和解决办法
本文出处:http://www.cnblogs.com/wy123/p/6110349.html 之前遇到过这么一种情况: 连接数据库的部分Session会出现不定时的阻塞,这种阻塞时长时短,有时候持 ...
- C3p0连接池配置
在Java开发中,使用JDBC操作数据库的四个步骤如下: ①加载数据库驱动程序(Class.forName("数据库驱动类");) ②连接数据库(Connection co ...
- Java第三方数据库连接池库-DBCP-C3P0-Tomcat内置连接池
连接池原理 数据库连接池的基本思想就是为数据库连接建立一个“缓冲池”.预先在缓冲池中放入一定数量的连接,当需要建立数据库连接时,只需从“缓冲池”中取出一个,使用完毕之后再放回去.我们可以通过设定连接池 ...
随机推荐
- golang 结合实例更好的理解参数传递和指针
关于参数传递 其实go的参数传递,核心就是一句话:go里所有参数传递都是值传递,既把参数复制一份放到函数里去用. go的函数传参,不管参数是什么类型,都会复制一份,然后新的参数在函数内部被使用. 不像 ...
- 【0729 | Day 3】Python基础(一)
Part 1 变量 一.什么是变量? 字面意思:变化的量. 而在计算机中,我们可以将它理解为世间万物变化的状态. 二.为什么要有变量? 首先,无论是我们还是计算机都需要变量来记录发生的状态的变化,其次 ...
- element ui 退出功能
<template> <el-container class="home-wrapper"> <el-header> <el-row ty ...
- 从头开始制作OJ-在线IDE的搭建
大家好,我是Fred913. 之前,我看过各种OJ(OpenJudge) 但是,还是没有自己做的好. 所以,我就来写了这篇教程. 环境 这次,我打算使用这些:PHP 5.6 Nginx/Apache ...
- 使用re.split 按标点+空格的一种分割办法
import re import string t1 = re.split("["+string.punctuation+" ]","(555) 12 ...
- 用原生JS实现AJAX和JSONP
前端开发在需要与后端进行数据交互时,为了方便快捷,都会选择JQuery中封装的AJAX方法,但是有些时候,我们只需要JQuery的AJAX请求方法,而其他的功能用到的很少,这显然是没必要的.其实,原生 ...
- Container killed by YARN for exceeding memory limits
19/08/12 14:15:35 ERROR cluster.YarnScheduler: Lost executor 5 on worker01.hadoop.mobile.cn: Contain ...
- 纯数据结构Java实现(6/11)(二叉堆&优先队列)
堆其实也是树结构(或者说基于树结构),一般可以用堆实现优先队列. 二叉堆 堆可以用于实现其他高层数据结构,比如优先队列 而要实现一个堆,可以借助二叉树,其实现称为: 二叉堆 (使用二叉树表示的堆). ...
- JAVA笔记【类】
java的概述和编程基础在这里我就不过多的强调了,因为已经有学习C和C++的基础了,我在这里强调一下类和对象. [一]类的定义: Java类的定义包括类声明和类体两个部分,其中类体又包含变量声明,方法 ...
- SpringMVC源码分析6:SpringMVC的视图解析原理
title: SpringMVC源码分析6:SpringMVC的视图解析原理 date: 2018-06-07 11:03:19 tags: - SpringMVC categories: - 后端 ...