【Redis】Could not get a resource from the pool 实乃集群配置问题
先说些题外话~自上次确诊为鼻窦炎+过敏性鼻炎到现在已经一个月了,最初那会,从下午到晚上头疼难忍。大概是积劳成疾,以前流鼻涕、打喷嚏的时候从来没有注意过,结果病根一下爆发。
关键在于锁定问题,开始治疗一两天之后就不会头疼了。当然,习惯也很重要,再也不敢用力擤鼻子了。
挺过那一阵就好受很多,之后就是鼻塞稍微烦人一些。鼻子的问题很容易串到其他面部器官中去,一旦发展严重必然大幅度影响生活质量。
治疗方法推荐洗鼻(前两周先消炎,吃地红霉素),但注意不要让医院赚的太狠,药包到药店或者网上买都可以;如果是过敏引发流涕也要吃抗过敏药。
以上,为同样深受困扰的小伙伴提供一些经验。。
【问题】使用jediscluster连接redis集群,使用jedis执行redis命令,一些时候报Could not get a resource from the pool ,底层是连接超时异常,另一些时候则正常。
【复现】时好时坏,有时失败后马上第二次请求相同命令即成功,进一步测试发现竟然与请求的key有关,极难定位问题原因。
【方案】1、考虑为服务端与客户端版本不匹配问题,而
<dependency>
<groupId>redis.clients</groupId>
<artifactId>jedis</artifactId>
<version>2.9.0</version>
</dependency>
jedis版本已为最新,另有3.X-m1版本,换用之后也无效。此处麻烦大家告知一下“m1”的意思。
换用spring的包装客户端,spring-data-redis,亦无效。
从时好时坏这一点来看,版本不是主因。事实上,redis对于版本匹配并不如kafka那般严格。
2、考虑为客户端连接参数问题,结合网上各种经验调整JedisPoolConfig与JedisCluster构造方法参数,均无效。这里时间浪费最多,网上信息庞杂而大部分无用。
3、考虑为服务端单个redis节点配置问题,bind不到外网ip,这点很疑惑。
4、考虑为服务端密码问题,从slot槽的设计入手,假设在目前的客户端中,如果请求的key需要转发到其他节点,则因为没有验证密码而被其他节点拒绝。(实际上这是对部署脚本或者jedis集群客户端不信任)
服务端取消密码构建集群后问题依旧,但已经接近问题答案。
【解决】定位问题在于集群节点。
原因排查依据:
(1)命令执行时好时坏,同一命令请求不同key,一些一直成功,其他一直不成功。
(2)查询所有节点的keys命令从未成功。
(3)debug之下发现不成功的命令请求的节点是内网ip,成功的命令是另一节点的外网ip。
原来,为了测试方便,我使用了外网ip构建集群。但是,官方提供的redis-trib.rb脚本带有极大的迷惑性,在构建时返回屏幕的信息正确,而自动生成的每个节点的nodes.conf中,表述自身的一行与预期均有出入,如下所示:

图中139为外网ip,而172则是内网ip。导致客户端经对key哈希后得到的槽,所对应的请求节点有可能拿到内网ip,导致无法连接。超时后报错。
为解决问题,我假设只要该配置存在,节点之间即可相互感知,节点重启后也不会影响集群状态。故而手工将内网ip修改为外网ip,重启每个redis节点,问题解决。
【目前最佳实践】
目前认为官方提供用于构建和管理集群的redis-trib.rb脚本,对外网ip的支持并不完善。因此,
1、在开发测试阶段,通过外网ip构建集群,通过密码保证安全性。
2、单个redis配置:bind注释掉,打开保护模式,设置密码和集群master密码,ruby client.rb中对应修改密码。
我的路径/usr/local/rvm/gems/ruby-2.4.1/gems/redis-4.0.2/lib/redis/client.rb 密码用就替换,不用就填nil,不是空字串!
3、清除每一个节点的持久化记录和之前的nodes.conf之后,用外网ip正常构建集群。
4、手工修改生成的每一个nodes.conf,然后重启对应的redis节点。
如有理解偏差或更好方案,希望可以告知,大家一起讨论。
【Redis】Could not get a resource from the pool 实乃集群配置问题的更多相关文章
- Redis安装、主从配置及两种高可用集群搭建
Redis安装.主从配置及两种高可用集群搭建 一. 准备 Kali Linux虚拟机 三台:192.168.154.129.192.168.154.130.192.168.154 ...
- 洞悉Redis技术内幕:缓存,数据结构,并发,集群与算法
"为什么这个功能用不了?" 程序员:"清一下缓存" 上篇洞悉系列文章给大家详细介绍了MySQL的存储内幕:洞悉MySQL底层架构:游走在缓冲与磁盘之间.既然聊过 ...
- Redis高可用(持久化、主从复制、哨兵、集群)
Redis高可用(持久化.主从复制.哨兵.集群) 目录 Redis高可用(持久化.主从复制.哨兵.集群) 一.Redis高可用 1. Redis高可用概述 2. Redis高可用策略 二.Redis持 ...
- Redis随笔(四)Centos7 搭redis3.2.9集群-3主3从的6个节点服务
1.虚拟机环境 使用的Linux环境已经版本: Centos 7 64位系统 主机ip: 192.168.56.180 192.168.56.181 192.168.56.182 每台服务器是1主 ...
- Redis(二)CentOS7安装Redis4.0.10与集群搭建
一 Redis单机安装 1 Redis下载安装 1.1 检查依赖环境(Redis是C语言开发,编译依赖gcc环境) [root@node21 redis-]$ gcc -v -bash: gcc: c ...
- Redis 搭建一主二从三哨兵高可用集群
1.单个redis服务搭建请参考:redis服务搭建 2.在/usr/local下创建目录redis-cluster,并在redis-cluster下创建 6379.6380.6381目录以及data ...
- Redis(1.11)Redis4.0.11 cluster 分布式集群搭建
概念与了解:Redis(1.7)Redis高可用架构(理论篇) [0]试验环境 结构图如下: (这里试验没有那么多机器,就用3台机器搭建试验) redis1是redis集群的一个节点A,上面运行了两个 ...
- redis 学习笔记(6)-cluster集群搭建
上次写redis的学习笔记还是2014年,一转眼已经快2年过去了,在段时间里,redis最大的变化之一就是cluster功能的正式发布,以前要搞redis集群,得借助一致性hash来自己搞shardi ...
- Redis集群(八):Redis Sharding集群
一.Redis目前的集群方案主要有两种:Redis Sharding和Redis Cluster 1.Redis Sharding:3.0以前基本上使用分片实现集群,目前主流方案,客户端实现 2.Re ...
随机推荐
- sqoop导oracle数据到hive中并动态分区
静态分区: 在hive中创建表可以使用hql脚本: test.hql USE TEST; CREATE TABLE page_view(viewTime INT, userid BIGINT, pag ...
- 花果山第一届猿类分级考试实录--Talk is cheap,Show me the code
本故事纯属虚构,如有雷同,纯属巧合! 故事背景 悟空师徒4人取经回来后,因不耐收到管教,就回到了花果山,带领一帮猴子猴孙逍遥自在的过日子,奈何因在阎王殿里将生死薄中的猴子猴孙的名字都划去了,猴子猴孙是 ...
- linux 操作系统级别监控 vmstat/dstat 命令
vmstat命令综合了CPU.进程.内存.磁盘IO等信息 命令:vmstat 1 表示vmstat每2秒采集数据,一直采集,直到我结束程序 vmstat 2 1 表示每个两秒采集一次 ...
- 遗传编程(GA,genetic programming)算法初探,以及用遗传编程自动生成符合题解的正则表达式的实践
1. 遗传编程简介 0x1:什么是遗传编程算法,和传统机器学习算法有什么区别 传统上,我们接触的机器学习算法,都是被设计为解决某一个某一类问题的确定性算法.对于这些机器学习算法来说,唯一的灵活性体现在 ...
- C++ new和malloc的区别
1.new关键字是C++中的一部分,malloc是由C库提供的函数: 2.new是以具体类型为单位进行内存分配,malloc只能以字节为单位进行内存分配: 3.new在申请单个类型变量时可进行初始化, ...
- [技术栈]C#利用Luhn算法(模10算法)对IMEI校验
1.Luhn算法(模10算法) 通过查看ISO/IEC 7812-1:2017文件可以看到对于luhn算法的解释,如下图: 算法主要分为三步: 第一步:从右边第一位(最低位)开始隔位乘2: 第二步:把 ...
- Java入门系列之hashCode和equals(十二)
前言 前面两节内容我们详细讲解了Hashtable算法和源码分析,针对散列函数始终逃脱不掉hashCode的计算,本节我们将详细分析hashCode和equals,同时您将会看到本节内容是从<E ...
- docker 运行容器时指定--sysctl参数来设置系统参数
指定--sysctl参数来设置系统参数,通过这些参数来调整系统性能,Docker通过一个 ValidateSysctl函数来限制 sysctl参数可以传入的项,源码如下: // docker/opts ...
- layui table 行按钮事件,启用禁用切换
{{# ){ }} <a class="layui-btn layui-btn-danger layui-btn-xs" lay-event="forbidden& ...
- Redis 搭建一主二从三哨兵高可用集群
1.单个redis服务搭建请参考:redis服务搭建 2.在/usr/local下创建目录redis-cluster,并在redis-cluster下创建 6379.6380.6381目录以及data ...