redis迁移第三篇(cluster forget)
1、删除错误节点,带有 fail,noaddr , 这种需要用 cluster forget
redis集群迁移之后,由于之前的误操作,导致pod日志里面出现这样的错误,出现一会好一会不好的情况,就是由于这个错误节点导致
[uts-node-0] [12:22:48:102] [ERROR] - org.redisson.client.handler.CommandDecoder.decode(CommandDecoder.java:113) - Unable to decode data. channel: [id: 0x2770e76d, L:/172.17.246.215:45564 - R:/10.129.51.30:7733] message: $879
f0e5d3d17babbce85a9290e679a626bc0bbacc93 10.129.51.30:7735@17735 slave 91b7f8c79c91c7edd77458c332f0b9299bdb94d4 0 1646366975000 63 connected
91b7f8c79c91c7edd77458c332f0b9299bdb94d4 10.129.51.30:7732@17732 master - 0 1646366976611 63 connected 5461-10922
c3c7ba2d0709121e69c2881724a0c5be903a4a6a 10.129.51.30:7736@17736 slave d1c7d99e13a2d7317baf883dffa906470a606641 0 1646366975000 62 connected
d1c7d99e13a2d7317baf883dffa906470a606641 10.129.51.30:7733@17733 myself,master - 0 1646366969000 62 connected 10923-16383
27f7e8dede5b68581486ce8cefdd656032baed70 :0@0 master,fail,noaddr - 1646366063257 1646366063257 4 disconnected
421ccd9a53168359272b733869fcb8ad827aa655 10.129.51.30:7734@17734 slave d46f032ea50763de8353fd530535412df6ffdc00 0 1646366976000 60 connected
d46f032ea50763de8353fd530535412df6ffdc00 10.129.51.30:7731@17731 master - 0 1646366977611 60 connected 0-5460
红色的一条就是我之前在迁移中失误操作造成的
pod启动后还会报错信息为:
java.lang.IllegalArgumentException: Illegal character in scheme name at index 0: []r[]e[]d[]i[]s[]:[]/[]/[]:[]0[]
红色的一条节点信息,是由于之前redis失误命令为:
[root@ht20 redis]#./redis-trib.rb del-node 10.129.51.30:7735 10.129.51.30
正确命令应该为: 后面是 node_id
[root@ht20 redis]#./redis-trib.rb del-node 10.129.51.30:7735 10.129.51.30 32ee19af1f6a534c4014b9c41d387666f049354b
2、cluster forget命令操作,中间影响信息的部分处理掉了。
[root@ht20 data]# vi /data/redis_fpmai1/redis/data/nodes.conf //查看master1的集群配置文件
d46f032ea50763de8353fd530535412df6ffdc00 10.129.51.30:7731@17731 slave
c3c7ba2d0709121e69c2881724a0c5be903a4a6a 10.129.51.30:7736@17736 slave
91b7f8c79c91c7edd77458c332f0b9299bdb94d4 10.129.51.30:7732@17732 myself,master - 5461-10922
d1c7d99e13a2d7317baf883dffa906470a606641 10.129.51.30:7733@17733 master - 10923-16383
27f7e8dede5b68581486ce8cefdd656032baed70 :0@0 master,fail,noaddr - 1646368054015 1646368054015 4 disconnected
421ccd9a53168359272b733869fcb8ad827aa655 10.129.51.30:7734@17734 master - 0-5460
f0e5d3d17babbce85a9290e679a626bc0bbacc93 10.129.51.30:7735@17735 slave
vars currentEpoch 64 lastVoteEpoch 64 [root@ht20 redis]# ./redis-cli -c -h 10.129.51.30 -p 7732 cluster forget 27f7e8dede5b68581486ce8cefdd656032baed70
OK
[root@ht20 data]# vi /data/redis_fpmai2/redis/data/nodes.conf //查看master2的集群配置文件
c3c7ba2d0709121e69c2881724a0c5be903a4a6a 10.129.51.30:7736@17736 slave
421ccd9a53168359272b733869fcb8ad827aa655 10.129.51.30:7734@17734 master 0-5460
f0e5d3d17babbce85a9290e679a626bc0bbacc93 10.129.51.30:7735@17735 slave
d46f032ea50763de8353fd530535412df6ffdc00 10.129.51.30:7731@17731 slave
91b7f8c79c91c7edd77458c332f0b9299bdb94d4 10.129.51.30:7732@17732 myself,master 5461-10922
d1c7d99e13a2d7317baf883dffa906470a606641 10.129.51.30:7733@17733 master 10923-16383
vars currentEpoch 64 lastVoteEpoch 64
###就会发现没有这一条了 27f7e8dede5b68581486ce8cefdd656032baed70 :0@0 master,fail,noaddr - 1646368054015 1646368054015 4 disconnected
1、注意cluster forget 只针对当前的主和当前的从起作用。
2、我依次处理掉其他master ,一共3个master
//对三个master都要进行处理,否则会有残留信息。
[root@ht20 redis]# ./redis-cli -c -h 10.129.51.30 -p 7733 cluster forget 27f7e8dede5b68581486ce8cefdd656032baed70
OK
[root@ht20 redis]# ./redis-cli -c -h 10.129.51.30 -p 7732 cluster forget 27f7e8dede5b68581486ce8cefdd656032baed70
OK
[root@ht20 redis]# ./redis-cli -c -h 10.129.51.30 -p 7733 cluster forget 27f7e8dede5b68581486ce8cefdd656032baed70
OK
3、程序执行正常,但是会出现 No reachable node in cluster(这个意思很怪异,如果你刚接触redis,会蒙的,怎么会是不能到达节点,集群中的)
经过多方查找这个错误,最终确定是由于在程序中jredis没有改配置中心的配置文件的ip信息,开发人员只修改了redisson即连接池的信息,
但是没有修改jredis的ip端口信息导致jredis连接不上redis集群,报错为: No reachable node in cluster 详细说下排查过程
我们配置中心采用config-->eureka-->应用-->redis集群
[root@master-web-38 src]# kubectl exec -ti us-node-0 -- /bin/bash //进入master ping 外网也没有问题
[root@uts-node-0:/# kubectl cp us-node-0:/app.jar /usr/local/src //把程序包app.jar下载之后,改成app.zip,查看里面内容
里面lib下的java jar包进行破解,利用工具为 http://java-decompiler.github.io/#jd-gui-download
破解lib包里面的redission-redisson-3.6.5.jar和spring-data-redis-2.0.6.RELEASE.jar后跟踪到提示信息。
说明如下
1、程序端采用了redission连接池和spring支持的jredis客户端
2、redisson-3.6.5.jar //java客户端连接池,检查没有问题。
3、spring-data-redis-2.0.6.RELEASE.jar //客户端的jredis支持。
最终跟踪pod日志报错,发现提示set错误,跟踪连接池一直到jredis显示报错
public Jedis getConnection() {
List<JedisPool> pools = this.cache.getShuffledNodesPool();
for (JedisPool pool : pools) {
Jedis jedis = null;
try {
jedis = pool.getResource();
if (jedis == null)
continue;
String result = jedis.ping();
if (result.equalsIgnoreCase("pong"))
return jedis;
jedis.close();
} catch (JedisException ex) {
if (jedis != null)
jedis.close();
}
}
throw new JedisNoReachableClusterNodeException("No reachable node in cluster");
//查到这里基本问题就确定了,明显是连接jredis连接不上,从而确定问题来自 jredis,访问集群问题.
}
//这里jredis用了集群的ping命令
登录集群服务器客户端,执行ping,演示下jredis的机制。
[root@ht20 redis]# ./redis-cli -c -h 10.129.51.30 -p 7733
10.129.51.30:7733> ping
PONG
附日志错误
org.springframework.data.redis.RedisConnectionFailureException: No reachable node in cluster; nested exception is
redis.clients.jedis.exceptions.JedisNoReachableClusterNodeException: No reachable node in cluster
at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
at java.lang.Thread.run(Thread.java:745)
Caused by: redis.clients.jedis.exceptions.JedisNoReachableClusterNodeException: No reachable node in cluster at redis.clients.jedis.BinaryJedisCluster.set(BinaryJedisCluster.java:77)
at org.springframework.data.redis.connection.jedis.JedisClusterStringCommands.set(JedisClusterStringCommands.java:113)
... 80 more
org.springframework.data.redis.RedisConnectionFailureException: No reachable node in cluster; nested exception
is redis.clients.jedis.exceptions.JedisNoReachableClusterNodeException: No reachable node in cluster
at org.springframework.data.redis.connection.jedis.JedisExceptionConverter.convert(JedisExceptionConverter.java:67)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
at java.lang.Thread.run(Thread.java:745)
Caused by: redis.clients.jedis.exceptions.JedisNoReachableClusterNodeException: No reachable node in cluster
at redis.clients.jedis.JedisSlotBasedConnectionHandler.getConnection(JedisSlotBasedConnectionHandler.java:57) at org.springframework.data.redis.connection.jedis.JedisClusterStringCommands.set(JedisClusterStringCommands.java:113)
... 80 more
org.springframework.data.redis.RedisConnectionFailureException: No reachable node in cluster; nested exception is
redis.clients.jedis.exceptions.JedisNoReachableClusterNodeException: No reachable node in cluster
at org.springframework.data.redis.connection.jedis.JedisExceptionConverter.convert(JedisExceptionConverter.java:67)
at org.springframework.data.redis.connection.jedis.JedisExceptionConverter.convert(JedisExceptionConverter.java:41)
at org.springframework.data.redis.PassThroughExceptionTranslationStrategy.translate(PassThroughExceptionTranslationStrategy.java:44)
redis迁移第三篇(cluster forget)的更多相关文章
- redis介绍 (8) window 下redis的集群(cluster命令)
前言: 前段时间我在centos上搭建过一次redis集群,那是借助ruby搭建,这次我介绍一种纯redis集群命令的方式去搭建[最后我会简单介绍ruby搭建]. redis集群搭建(三主三备): 准 ...
- redis集群在线迁移第二篇(redis迁移后调整主从关系,停掉14机器上的所有从节点)-实战二
变更需求为: 1.调整主从关系,所有节点都调整到10.129.51.30机器上 2.停掉10.128.51.14上的所有redis,14机器关机 14机器下线迁移至新机房,这段时间将不能提供服务. 当 ...
- 【进阶之路】Redis基础知识两篇就满足(二)
导言 大家好,我是南橘,一名练习时常两年半的java练习生,这是我在博客园的第二篇文章,当然,都是要从别处搬运过来的,不过以后新的文章也会在博客园同步发布,希望大家能多多支持^_^ 这篇文章的出现,首 ...
- redis —主从&&集群(CLUSTER)
REDIS主从配置 为了节省资源,本实验在一台机器进行.即,在一台机器上启动两个端口,模拟两台机器. 机器准备: [root@adailinux ~]# cp /etc/redis.conf /etc ...
- SpringCloud核心教程 | 第三篇:服务注册与发现 Eureka篇
Spring Cloud简介 Spring Cloud是一个基于Spring Boot实现的云应用开发工具,它为基于JVM的云应用开发中涉及的配置管理.服务发现.断路器.智能路由.微代理.控制总线.全 ...
- 支撑微博亿级社交平台,小白也能玩转Redis集群(实战篇)
上篇文章<支撑微博亿级社交平台,小白也能玩转Redis集群(原理篇)>介绍了Redis集群相关原理,这篇文章将介绍Redis Cluster集群的搭建.配置,运维.扩容等具体操作 集群搭建 ...
- 【进阶之路】Redis基础知识两篇就满足(一)
导言 大家好,我是南橘,一名练习时常两年半的java练习生,这是我在博客园的第一篇文章,当然,都是要从别处搬运过来的,不过以后新的文章也会在博客园同步发布,希望大家能多多支持^_^ 这篇文章的出现,首 ...
- 从0开始搭建SQL Server AlwaysOn 第三篇(配置AlwaysOn)
从0开始搭建SQL Server AlwaysOn 第三篇(配置AlwaysOn) 第一篇http://www.cnblogs.com/lyhabc/p/4678330.html第二篇http://w ...
- 二、Redis基本操作——String(实战篇)
小喵万万没想到,上一篇博客,居然已经被阅读600次了!!!让小喵感觉压力颇大.万一有写错的地方,岂不是会误导很多筒子们.所以,恳请大家,如果看到小喵的博客有什么不对的地方,请尽快指正!谢谢! 小喵的唠 ...
随机推荐
- 数据库常用的sql语句大全--sql
前言 本片博客使用mysql数据库进行数据操作,使用Navicat for mysql 这个IDE进行可视化操作.每个SQL语句都是亲身实验验证的,并且经过自己的思考的.能够保证sql语句的可运行性. ...
- 解决使用DBeaver连接MySQL时报错-The server time zone value '�й���ʱ��' is unrecognized or represents more than one time zone.
解决使用DBeaver连接MySQL时报错,其实提示很明显. The server time zone value '�й���ʱ��' is unrecognized or represents ...
- 浅析 c++ bitset 的用法
浅析 c++ bitset 的用法 总述 C++的 \(bitset\) 位于 <bitset> 头文件中,这是一种类似于数组的数据结构,每个位置存储 \(0\ or\ 1\) ,并且每个 ...
- Java基础 - 注解详解
What - 什么是注解? Annontation是Java5开始引入的新特征,中文名称叫注解.它提供了一种安全的类似注释的机制,用来将任何的信息或元数据(metadata)与程序元素( ...
- 手把手带你使用Paint in 3D和Photon撸一个在线涂鸦画板
Paint in 3D Paint in 3D用于在游戏内和编辑器里绘制所有物体.所有功能已经过深度优化,在WebGL.移动端.VR 以及更多平台用起来都非常好用! 它支持标准管线,以及 LWRP.H ...
- SpringBoot单元测试携带Cookie
由于我SpringBoot项目,集成了SpringSecurity,而Security框架使用Redis存储Session,所以,这里列出几个关键的类 org.springframework.sess ...
- 区分 BeanFactory 和 ApplicationContext?
BeanFactory ApplicationContext 它使用懒加载 它使用即时加载 它使用语法显式提供资源对象 它自己创建和管理资源对象 不支持国际化 支持国际化 不支持基于依赖的注解 支持基 ...
- Django中间件 (middleware)
中间件是处理django的请求和响应的框架级别的钩子,本质是一个类(直白一点中间件是帮助我们在视图函数执行之前和执行之后都可以做一些额外的操作) 由于其影响的是全局,所以需要谨慎使用,使用不当会影响性 ...
- Effective Java —— 使类和成员的可访问性最小化
本文参考 本篇文章参考自<Effective Java>第三版第十五条"Minimize the accessibility of classes and members&quo ...
- Java_lambda表达式之"stream流学习,Map学习,collect学习,Conllectors工具类学习"
Lambda表达式学习 对List<Integer> userIdList = UserList.stream().map(User::getUserId).collect(Collect ...