基于redis6搭建集群

前言

• 系统版本：CentOS 7
• redis版本：redis6.2.4，官方tar.gz包
• 两台服务器：
  • 172.50.11.11
    • 端口7002、7004、7006
  • 172.50.12.11
    • 端口7001、7003、7005

编译安装redis

# 提示缺什么依赖就装什么依赖
yum install -y gcc gcc-c++ tcl make
tar xf redis-6.2.4.tar.gz
cd redis-6.2.4
make
make install PREFIX=/home/web/redis
# 测试
make test

make test常见错误

• You need tcl 8.5 or newer in order to run the Redis test

yum install -y tcl

• NOREPLICAS Not enough good slaves to write

vim tests/integration/replication-2.tcl
# 增加after的值，比如10000
# 改了后如果还是报错并且直接停止测试，可以再执行一次make test

• Slave should be able to synchronize with the master...

# 再执行一次make test

创建redis配置环境

cd /home/web/redis
mkdir -p ./nodes/redis700{1,2,3,4,5,6}/{bin,etc,var}
for i in `seq 1 6`;do cp ./bin/* ./nodes/redis700${i}/bin ;done

编辑redis.conf，内容如下：

# 绑定的服务器ip，即其他服务访问redis使用的ip
bind 172.50.12.11

# 服务端口
port 7001

# redis服务密码
requirepass 123456

# master节点认证密码
masterauth 123456

# 后台运行
daemonize yes

# 关闭保护模式
protected-mode no

# 开启集群（主节点为yes、从节点为no）
cluster-enabled yes

# 设置请求超时时间，默认为15秒，可以自行修改
cluster-node-timeout 15000

# aof日志开启，会每次进行写操作都记录一条日志
appendonly yes

# cluster-config-file
cluster-config-file nodes_7001.conf

# pidfile
pidfile /var/run/redis-server-7001.pid

# logfile
logfile /home/web/redis/nodes/redis7001/var/redis.log

# 用来描述”在多少秒期间至少多少个变更操作”触发snapshot，snapshot最终将生成新的dump.rdb文件，例如save 300 1表示5分钟内至少一个key变更,触发snapshot
save 900 9999999999
save 300 9999999999
save 60 9999999999

# dbfilename
dbfilename dump.rdb

# dir
dir /home/web/redis/nodes/redis7001/var

# 60秒自动释放连接
tcp-keepalive 60

# 复制对应的master（哨兵模式从节点配置、主节点不需要配置）
maxmemory 10GB
maxmemory-policy volatile-ttl
appendonly no

复制redis.conf：

# 复制
for i in `seq 1 6`;do cp ./redis.conf ./nodes/redis700${i}/etc ;done
# 修改端口
for i in `seq 1 6`;do sed -i "s/7001/700${i}/g" ./nodes/redis700${i}/etc/redis.conf ;done

将/home/web/redis/nodes目录拷贝到另一台服务器，用sed命令批量改一下redis.conf文件中bind的IP地址。

启动

172.50.12.11上执行：

/home/web/redis/nodes/redis7001/bin/redis-server /home/web/redis/nodes/redis7001/etc/redis.conf
/home/web/redis/nodes/redis7003/bin/redis-server /home/web/redis/nodes/redis7003/etc/redis.conf
/home/web/redis/nodes/redis7005/bin/redis-server /home/web/redis/nodes/redis7005/etc/redis.conf

172.50.11.11上执行：

/home/web/redis/nodes/redis7002/bin/redis-server /home/web/redis/nodes/redis7002/etc/redis.conf
/home/web/redis/nodes/redis7004/bin/redis-server /home/web/redis/nodes/redis7004/etc/redis.conf
/home/web/redis/nodes/redis7006/bin/redis-server /home/web/redis/nodes/redis7006/etc/redis.conf

创建集群

注意根据实际情况修改密码、IP、端口

/home/web/redis/bin/redis-cli -a 123456 --cluster create 172.50.12.11:7001 172.50.11.11:7002 172.50.12.11:7003 172.50.11.11:7004 172.50.12.11:7005 172.50.11.11:7006 --cluster-replicas 1

• --cluster-replicas 1表示一个主节点配置一个从节点

创建集群后会自动分配主从关系和槽位

验证状态

验证slave状态

/home/web/redis/bin/redis-cli -a 123456 -h 172.50.11.11 -p 7006
# 在redis控制台执行 info replication

如果role为slave ，确认master_link_status为up

验证master状态

/home/web/redis/bin/redis-cli -a 123456 -h 172.50.12.11 -p 7001
# 在redis控制台执行 info replication

如果role为master，查看是否有类似slave0:ip=172.50.11.11,port=7006,state=online,offset=1400,lag=1的信息。

验证集群状态

/home/web/redis/bin/redis-cli -a 123456 -h 172.50.12.11 -p 7001
# 在redis控制台执行 cluster info

结果应该类似下面这样：

cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:6
cluster_my_epoch:1
cluster_stats_messages_ping_sent:1074
cluster_stats_messages_pong_sent:1054
cluster_stats_messages_sent:2128
cluster_stats_messages_ping_received:1049
cluster_stats_messages_pong_received:1074
cluster_stats_messages_meet_received:5
cluster_stats_messages_received:2128

或者在终端执行：

/home/web/redis/bin/redis-cli -a 123456 --cluster check  172.50.12.11:7001

查看集群node对应关系

redis控制台执行：

cluster nodes

后期维护

增加节点和删除节点会涉及到已有的槽位重新分配及数据迁移。

添加节点

# 配置模板
redis-cli -a 123456 --cluster add-node new_host:new_port existing_master_host:existing_master_port

假设新加两个节点：172.50.13.11:7007（主）和172.50.13.11:7008（从），两个节点均已启动，已有集群的其中一个主节点为172.50.12.11:7001

# 添加节点
redis-cli -a 123456 --cluster add-node 172.50.13.11:7007 172.50.12.11:7001

新加的节点没有被分配的槽位，需要重新分槽

redis-cli -a 123456 --cluster reshard 172.50.13.11:7007
# 提示how many slots do you want to move，可以输入4096，即16383 / 4 的约数
# 提示 waht is the receiving node id，输入172.50.13.11:7007的node id
# 提示 source node，输入 all，表示从所有redis节点中分配槽位

添加节点时，默认为主节点，可以手动设置为从节点：

redis-cli -a 123456 --cluster add-node 172.50.13.11:7008 172.50.12.11:7001

登录到新节点：

redis-cli -a 123456 -h 172.50.13.11 -p 7008

获取master的id，比如172.50.13.11:7007的id为qwertyuiop12345

# 查看节点id
cluster nodes
# 配置为172.50.13.11:7007的从节点
cluster replication qwertyuiop12345

删除节点

删除节点就是添加节点的逆操作，先重新分配槽位，再删节点。

登录非被删节点的一个master节点。

提示source node的时候填需要被删除节点的node id，然后输入done。

添加节点为add-node，删除为del-node