这里的Redis集群指的是Redis Cluster,它是Redis在3.0版本正式推出的专用集群方案,有效地解决了Redis分布式方面的需求。当单机内存、并发、流量等遇到瓶颈的时候,可以采用这种Redis Cluster方案进行解决。

分区规则

Redis Cluster采用虚拟槽(slot)进行数据分区,即使用分散度良好的哈希函数把所有键映射到一个固定范围的整数集合里,这里的整数就是槽(slot)。Redis Cluster槽的范围是0~16383,计算公式:slot=CRC16(key) & 16383。

白嫖小贴士:CRC16是一种高质量的哈希算法,可以使每个槽所映射的键通常比较均匀。

当集群中有3个节点时,每个节点平均大概负责5461个槽以及槽所映射的键值数据。这样一来,可以解耦数据与节点之间的关系,简化节点扩容和缩容的难度。节点自身维护槽的映射关系,不需要客户端或代理服务维护分区信息。

不过,Redis Cluster相对于单机还是存在一些限制的,比如:

  1. 批量操作键支持有限,仅支持具有相同槽的键进行批量操作。
  2. 事务操作键支持有限,仅支持在同一个节点上多个键的事务操作。
  3. 不支持多个数据空间。单机Redis可以支持16个数据库,而Cluster模式下只能使用一个数据库空间。

扯了这么多Redis Cluster的分区规则,下面我们开始步入正题。

欢迎关注微信公众号:万猫学社,每周一分享Java技术干货。

手动搭建

把Redis Cluster搭建起来总共几步?答:三步!第一步把冰箱门打开。第二步把大象关进去。第三步把冰箱门带上。不好意思,段子暴露年龄了。集群搭建需要以下三个步骤:

  1. 准备节点。
  2. 节点握手。
  3. 分配槽。

Redis Cluster由多个节点组成,节点数量至少有6个才能组成一个完整高可用的集群,其中有3个主节点和3个从节点,我们就以此为例搭建一个Redis Cluster。

准备节点

首先,为6个节点(同一台机器上的6380、6381、6382、6383、6384、6385端口)分别创建配置文件,以6380端口的节点为例:

# 节点端口
port 6380
#日志文件
logfile "log/redis-6380.log"
# 开启集群模式
cluster-enabled yes
# 集群配置文件
cluster-config-file "data/nodes-6380.conf"

保持文件名为redis-6380.conf,其他节点的配置文件替换成各自的端口。准备好配置文件后启动所有节点,命令如下:

src/redis-server conf/redis-6380.conf &
src/redis-server conf/redis-6381.conf &
src/redis-server conf/redis-6382.conf &
src/redis-server conf/redis-6383.conf &
src/redis-server conf/redis-6384.conf &
src/redis-server conf/redis-6385.conf &

检测日志是否正确,以下是6380端口的节点的日志:

 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
# Redis version=4.0.14, bits=64, commit=00000000, modified=0, pid=3031, just started
# Configuration loaded
* No cluster configuration found, I'm df1ac987f47dea35f1d0a83c3b405f0ef86892ab
* Running mode=cluster, port=6380.

6380端口的节点启动成功,第一次启动时如果没有集群配置文件,Redis会自动创建一个。6380端口的节点创建的集群配置文件如下:

df1ac987f47dea35f1d0a83c3b405f0ef86892ab :0@0 myself,master - 0 0 0 connected
vars currentEpoch 0 lastVoteEpoch 0

集群文件中记录的集群的状态,这里最重要的是节点ID,它是一个40位的16进制字符串,用于唯一标识集群中的这个节点。同样,也可以通过cluster nodes命令查看集群节点状态。比如在6380端口的节点上执行命令:

127.0.0.1:6380> cluster nodes
df1ac987f47dea35f1d0a83c3b405f0ef86892ab :6380@16380 myself,master - 0 0 0 connected

目前,我们已经成功启动了6个节点,但是它们只能识别自己的节点信息,互相之间并不认识。下面我们通过节点握手让这6个节点互相之间建立联系从而组成一个集群。

欢迎关注微信公众号:万猫学社,每周一分享Java技术干货。

节点握手

节点握手是一些运行在集群模式下的节点通过Gossip协议互相通信,达到感知彼此的过程。

白嫖小贴士:Gossip协议是基于流行病传播方式的节点或者进程之间信息交换的协议,在分布式系统中被广泛使用。

节点握手通过客户端执行cluster meet命令实现,它是一个异步命令,执行之后立刻返回,在Redis内部异步发起与目标节点的握手通信,该命令的语法如下:

cluster meet 目标节点IP 目标节点端口

把6个节点加到一个集群中:

127.0.0.1:6380> cluster meet 127.0.0.1 6381
OK
127.0.0.1:6380> cluster meet 127.0.0.1 6382
OK
127.0.0.1:6380> cluster meet 127.0.0.1 6383
OK
127.0.0.1:6380> cluster meet 127.0.0.1 6384
OK
127.0.0.1:6380> cluster meet 127.0.0.1 6385
OK

只需要在集群中任意节点上执行cluster meet命令加入新的节点,握手状态会通过消息在集群中传播,其他节点也会自动发现新节点并与之发起握手流程。

我们再执行一下cluster nodes命令,检查一下6个节点是否已经组成集群:

127.0.0.1:6380> cluster nodes
1e1f45677d7b9b0130d03193f0bcec34578ac47d 127.0.0.1:6385@16385 master - 0 1586617919021 5 connected
df1ac987f47dea35f1d0a83c3b405f0ef86892ab 127.0.0.1:6380@16380 myself,master - 0 1586617916000 2 connected
5846b66ebe4fb4a5dcfd035652cc471f7e412752 127.0.0.1:6381@16381 master - 0 1586617917005 1 connected
a435cf98c3444b0b110a224401e397a107c453ef 127.0.0.1:6384@16384 master - 0 1586617914988 4 connected
71e0e9e9a6f0c7c85dbe0d396846a9072625c5e8 127.0.0.1:6383@16383 master - 0 1586617918013 3 connected
e25590603c7a254cce43aa8437861c5c425d753d 127.0.0.1:6382@16382 master - 0 1586617916000 0 connected

可以看到,6个节点都在集群中了。不过,此时因为还没有为集群中的节点分配槽,集群还处于下线状态,所有的数据读写都是被禁止的。比如:

127.0.0.1:6380> set onemore study
(error) CLUSTERDOWN Hash slot not served

接下来,我们为集群中的节点分配槽。

分配槽

我们把6380、6382、6384端口的节点作为主节点,负责处理槽和相关数据;6381、6383、6385端口的节点分别作为从节点,负责故障转移。先把16384个槽平均分配给6380、6382、6384端口的节点,为节点分配槽是通过cluster addslots命令实现:

# ./redis-cli -h 127.0.0.1  -p 6380 cluster addslots {0..5461}
OK
# ./redis-cli -h 127.0.0.1 -p 6382 cluster addslots {5462..10922}
OK
# ./redis-cli -h 127.0.0.1 -p 6384 cluster addslots {10923..16383}
OK

我们再执行一下cluster nodes命令,检查一下槽是否已经分配:

127.0.0.1:6380> cluster nodes
1e1f45677d7b9b0130d03193f0bcec34578ac47d 127.0.0.1:6385@16385 master - 0 1586619468000 5 connected
df1ac987f47dea35f1d0a83c3b405f0ef86892ab 127.0.0.1:6380@16380 myself,master - 0 1586619464000 2 connected 0-5461
5846b66ebe4fb4a5dcfd035652cc471f7e412752 127.0.0.1:6381@16381 master - 0 1586619467000 1 connected
a435cf98c3444b0b110a224401e397a107c453ef 127.0.0.1:6384@16384 master - 0 1586619467000 4 connected 10923-16383
71e0e9e9a6f0c7c85dbe0d396846a9072625c5e8 127.0.0.1:6383@16383 master - 0 1586619467348 3 connected
e25590603c7a254cce43aa8437861c5c425d753d 127.0.0.1:6382@16382 master - 0 1586619468355 0 connected 5462-10922

再使用cluster replicate命令把一个节点变成从节点.,这个命令必须在从节点上运行,它的语法是:

cluster replicate 主节点ID

把6381、6383、6385端口的节点变成对应6380、6382、6384端口的节点的从节点:

# ./redis-cli -h 127.0.0.1  -p 6381
127.0.0.1:6381> cluster replicate df1ac987f47dea35f1d0a83c3b405f0ef86892ab
OK
127.0.0.1:6381> exit
# ./redis-cli -h 127.0.0.1 -p 6383
127.0.0.1:6383> cluster replicate e25590603c7a254cce43aa8437861c5c425d753d
OK
127.0.0.1:6383> exit
# ./redis-cli -h 127.0.0.1 -p 6385
127.0.0.1:6385> cluster replicate a435cf98c3444b0b110a224401e397a107c453ef
OK
127.0.0.1:6385> exit

我们再执行一下cluster nodes命令,检查一下集群状态和主从关系:

127.0.0.1:6380> cluster nodes
df1ac987f47dea35f1d0a83c3b405f0ef86892ab 127.0.0.1:6380@16380 myself,master - 0 1586620148000 2 connected 0-5461
5846b66ebe4fb4a5dcfd035652cc471f7e412752 127.0.0.1:6381@16381 slave df1ac987f47dea35f1d0a83c3b405f0ef86892ab 0 1586620150000 2 connected
e25590603c7a254cce43aa8437861c5c425d753d 127.0.0.1:6382@16382 master - 0 1586620151000 0 connected 5462-10922
71e0e9e9a6f0c7c85dbe0d396846a9072625c5e8 127.0.0.1:6383@16383 slave e25590603c7a254cce43aa8437861c5c425d753d 0 1586620152220 3 connected
a435cf98c3444b0b110a224401e397a107c453ef 127.0.0.1:6384@16384 master - 0 1586620150000 4 connected 10923-16383
1e1f45677d7b9b0130d03193f0bcec34578ac47d 127.0.0.1:6385@16385 slave a435cf98c3444b0b110a224401e397a107c453ef 0 1586620149000 5 connected

自此,RedisCluster已经手动搭建完成。手动搭建可以理解集群建立的流程和细节,不过大家也会发现手动搭建有很多步骤,当集群的节点比较多的时候,肯定会让人头大。所以Redis官方提供了redis-trib.rb工具,可以让我们快速地搭建集群。

自动搭建

redis-trib.rb是使用Ruby开发的Redis Cluster的管理工具,不需要额外下载,默认位于源码包的src目录下,但因为该工具是用Ruby开发的,所以需要准备相关的依赖环境。

欢迎关注微信公众号:万猫学社,每周一分享Java技术干货。

环境准备

安装Ruby:

yum -y install zlib-devel
wget https://cache.ruby-lang.org/pub/ruby/2.5/ruby-2.5.1.tar.gz
tar xvf ruby-2.5.1.tar.gz
cd ruby-2.5.1/
./configure -prefix=/usr/local/ruby
make
make install
cd /usr/local/ruby/
cp bin/ruby /usr/local/bin
cp bin/gem /usr/local/bin

安装rubygem redis依赖:

wget http://rubygems.org/downloads/redis-3.3.0.gem
gem install -l redis-3.3.0.gem

安装redis-trib.rb:

cp src/redis-trib.rb /usr/local/bin

执行redis-trib.rb命令确认一下环境是否准备正确:

# redis-trib.rb help
Usage: redis-trib <command> <options> <arguments ...> create host1:port1 ... hostN:portN
--replicas <arg>
check host:port
info host:port
fix host:port
--timeout <arg>
reshard host:port
--from <arg>
...此处省略一万个字...

搭建集群

像前面的内容讲的,准备好节点配置并启动:

src/redis-server conf/redis-7380.conf &
src/redis-server conf/redis-7381.conf &
src/redis-server conf/redis-7382.conf &
src/redis-server conf/redis-7383.conf &
src/redis-server conf/redis-7384.conf &
src/redis-server conf/redis-7385.conf &

使用redis-trib.rb create命令完成节点握手和槽分配的工作,命令如下:

redis-trib.rb create --replicas 1 127.0.0.1:7380 127.0.0.1:7382 127.0.0.1:7384 127.0.0.1:7381 127.0.0.1:7383 127.0.0.1:7385

其中--replicas 参数用来指定集群中每个主节点有几个从节点,这里设置的是1。命令执行后,会首先给出主从节点的分配计划:

>>> Creating cluster
>>> Performing hash slots allocation on 6 nodes...
Using 3 masters:
127.0.0.1:7380
127.0.0.1:7382
127.0.0.1:7384
Adding replica 127.0.0.1:7383 to 127.0.0.1:7380
Adding replica 127.0.0.1:7385 to 127.0.0.1:7382
Adding replica 127.0.0.1:7381 to 127.0.0.1:7384
>>> Trying to optimize slaves allocation for anti-affinity
[WARNING] Some slaves are in the same host as their master
M: c25675d021c377c91f860986025e3779d89ede79 127.0.0.1:7380
slots:0-5460 (5461 slots) master
M: 58980a81b49de31383802d7d21d6782881678922 127.0.0.1:7382
slots:5461-10922 (5462 slots) master
M: 3f00a37d2c7a5ea40671c8f2934f66d059157a4a 127.0.0.1:7384
slots:10923-16383 (5461 slots) master
S: 6f7dd93973a8332305831e6b7b5e2c54c15b3b51 127.0.0.1:7381
replicates 3f00a37d2c7a5ea40671c8f2934f66d059157a4a
S: 03e01f82a935ed7f977af092e6a9cb71057df68a 127.0.0.1:7383
replicates c25675d021c377c91f860986025e3779d89ede79
S: 2cf3883e974a709b7070d6c4d7c528d9fa813358 127.0.0.1:7385
replicates 58980a81b49de31383802d7d21d6782881678922
Can I set the above configuration? (type 'yes' to accept):

如果我们同意这份计划就输入yes,之后就会开始执行节点握手和槽分配,输入如下:

>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join....
>>> Performing Cluster Check (using node 127.0.0.1:7380)
M: c25675d021c377c91f860986025e3779d89ede79 127.0.0.1:7380
slots:0-5460 (5461 slots) master
1 additional replica(s)
M: 58980a81b49de31383802d7d21d6782881678922 127.0.0.1:7382
slots:5461-10922 (5462 slots) master
1 additional replica(s)
S: 2cf3883e974a709b7070d6c4d7c528d9fa813358 127.0.0.1:7385
slots: (0 slots) slave
replicates 58980a81b49de31383802d7d21d6782881678922
S: 03e01f82a935ed7f977af092e6a9cb71057df68a 127.0.0.1:7383
slots: (0 slots) slave
replicates c25675d021c377c91f860986025e3779d89ede79
S: 6f7dd93973a8332305831e6b7b5e2c54c15b3b51 127.0.0.1:7381
slots: (0 slots) slave
replicates 3f00a37d2c7a5ea40671c8f2934f66d059157a4a
M: 3f00a37d2c7a5ea40671c8f2934f66d059157a4a 127.0.0.1:7384
slots:10923-16383 (5461 slots) master
1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

集群创建完成后,还可以使用redis-trib.rb check命令检查集群是否创建成功,具体命令如下:

# redis-trib.rb check 127.0.0.1:7380
>>> Performing Cluster Check (using node 127.0.0.1:7380)
M: c25675d021c377c91f860986025e3779d89ede79 127.0.0.1:7380
slots:0-5460 (5461 slots) master
1 additional replica(s)
M: 58980a81b49de31383802d7d21d6782881678922 127.0.0.1:7382
slots:5461-10922 (5462 slots) master
1 additional replica(s)
S: 2cf3883e974a709b7070d6c4d7c528d9fa813358 127.0.0.1:7385
slots: (0 slots) slave
replicates 58980a81b49de31383802d7d21d6782881678922
S: 03e01f82a935ed7f977af092e6a9cb71057df68a 127.0.0.1:7383
slots: (0 slots) slave
replicates c25675d021c377c91f860986025e3779d89ede79
S: 6f7dd93973a8332305831e6b7b5e2c54c15b3b51 127.0.0.1:7381
slots: (0 slots) slave
replicates 3f00a37d2c7a5ea40671c8f2934f66d059157a4a
M: 3f00a37d2c7a5ea40671c8f2934f66d059157a4a 127.0.0.1:7384
slots:10923-16383 (5461 slots) master
1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

可以看到,所有的槽都已分配到节点上,大功告成!

微信公众号:万猫学社

微信扫描二维码

获得更多Java技术干货

三分钟快速搭建分布式高可用的Redis集群的更多相关文章

  1. Haproxy+Keepalived搭建Weblogic高可用负载均衡集群

    配置环境说明: KVM虚拟机配置 用途 数量 IP地址 机器名 虚拟IP地址 硬件 内存3G  系统盘20G cpu 4核 Haproxy keepalived 2台 192.168.1.10 192 ...

  2. LVS+Keepalived搭建MyCAT高可用负载均衡集群

    LVS+Keepalived 介绍 LVS LVS是Linux Virtual Server的简写,意即Linux虚拟服务器,是一个虚拟的服务器集群系统.本项目在1998年5月由章文嵩博士成立,是中国 ...

  3. 搭建高可用的redis集群,避免standalone模式带给你的苦难

    现在项目上用redis的话,很少说不用集群的情况,毕竟如果生产上只有一台redis会有极大的风险,比如机器挂掉,或者内存爆掉,就比如我们生产环境 曾今也遭遇到这种情况,导致redis内存不够挂掉的情况 ...

  4. Redis总结(八)如何搭建高可用的Redis集群

    以前总结Redis 的一些基本的安装和使用,大家可以这这里查看Redis 系列文章:https://www.cnblogs.com/zhangweizhong/category/771056.html ...

  5. redis高可用、redis集群、redis缓存优化

    今日内容概要 redis高可用 redis集群 redis缓存优化 内容详细 1.redis高可用 # 主从复制存在的问题: 1 主从复制,主节点发生故障,需要做故障转移,可以手动转移:让其中一个sl ...

  6. 搭建MySQL高可用负载均衡集群

    1.简介 使用MySQL时随着时间的增长,用户量以及数据量的逐渐增加,访问量更是剧增,最终将会使MySQL达到某个瓶颈,那么MySQL的性能将会大大降低.这一结果也不利于软件的推广. 那么如何跨过这个 ...

  7. 搭建MySQL高可用负载均衡集群(转)

    阅读目录 1.简介 2.基本环境 3.配置MySQL主主复制 4.中间件简述 4.1.Haproxy介绍 4.2.keepalived介绍 5.中间件的安装与配置(haproxy.keepalived ...

  8. [转]搭建MySQL高可用负载均衡集群

    转自:http://www.cnblogs.com/phpstudy2015-6/p/6706465.html 阅读目录 1.简介 2.基本环境 3.配置MySQL主主复制 4.中间件简述 4.1.H ...

  9. Kubernetes实战指南(三十四): 高可用安装K8s集群1.20.x

    @ 目录 1. 安装说明 2. 节点规划 3. 基本配置 4. 内核配置 5. 基本组件安装 6. 高可用组件安装 7. 集群初始化 8. 高可用Master 9. 添加Node节点 10. Cali ...

随机推荐

  1. stand up meeting for beta release plan 12/16/2015

    今天我们开会讨论一下beta版需要的feature,其中待定的feature是可选做的,如果有时间.其他都是必须实现的. 因为做插件的计划失败了,所以我们现在是pdf阅读器和取词查词加入生词本这两部分 ...

  2. bluecms v1.6 sp1 代码审计学习

    前言 正式开始代码审计的学习,拓宽自己的知识面.代码审计学习的动力也是来自团队里的王叹之师傅,向王叹之师傅学习. 这里参考了一些前辈,师傅的复现经验和bluecms审计的心得 安装 install.p ...

  3. 2020.4面试分享(7面收割5个offer)

    都说金三银四是找工作的最佳时节,由于本人的个人职业规划跟目前工作内容不太相符(具体原因就不透露了,领导平时也要来这里逛,哈哈),四月份挑选了10多家公司投递简历(公司规模从几十人到上万人都有),参加了 ...

  4. 关于go的通信通道channel——chan的一些问题

    go版本 1.8 chan类型的声明,有以下几种: var c chan int c := make(chan int) //slice.map.chan都可以通过用make来初始化,其中map.ch ...

  5. Python网络爬虫:伪装浏览器

    一.添加超时跳过功能 首先, 我简单地将 urlop = urllib.request.urlopen(url) 改为 urlop = urllib.request.urlopen(url, time ...

  6. sort()实现排序的原理

    很多人都只知道sort()是通过快速排序实现,但它并不只是简单的快排:首先它对普通的快速排序进行了优化:此外,它还结合了插入 排序和堆排序.系统根据数据形式和数据量,来选择合适的排序方法,这并不是说每 ...

  7. 头文件<cmath>中常用函数

    <cmath>里面有很多数学函数,下面说一下常用的一些函数吧:直接把函数原型给了出来,用的时候注意参数 先说一下,c++自身是没有四舍五入函数round()的,若果你要用到的话,可以自己写 ...

  8. 干货福利:如何使用Python中Django模板?

    前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者: 穆胜亮 篇文章将学习如何使用Django模板.模板是在Django ...

  9. input框处理大全

    1.去掉谷歌input记住账号或密码时默认出现的黄色背景: 直接用css的内阴影来覆盖黄色(代码中 white可换成其他颜色) input:-webkit-autofill { -webkit-box ...

  10. java学习(第二篇)语法学习

    1.java标识符 类名.变量名以及方法名都被称为标识符. 关于 Java 标识符,有以下几点需要注意: 所有的标识符都应该以字母(A-Z 或者 a-z),美元符($).或者下划线(_)开始 首字符之 ...