redis集群配置与管理

　　Redis在3.0版本以后开始支持集群，经过中间几个版本的不断更新优化，最新的版本集群功能已经非常完善。本文简单介绍一下Redis集群搭建的过程和配置方法，redis版本是5.0.4，操作系统是中标麒麟（和Centos内核基本一致）。

　　1、Redis集群原理

　　Redis 集群是一个提供在多个Redis间节点间共享数据的程序集，集群节点共同构建了一个去中心化的网络，集群中的每个节点拥有平等的身份，节点各自保存各自的数据和集群状态。节点之间采用Gossip协议进行通信，保证了节点状态的信息同步。

　　Redis 集群数据通过分区来进行管理，每个节点保存集群数据的一个子集。数据的分配采用一种叫做哈希槽(hash slot)的方式来分配，和传统的一致性哈希不太相同。Redis 集群有16384个哈希槽,每个key通过CRC16校验后对16384取模来决定放置哪个槽。

　　为了使在部分节点失败或者大部分节点无法通信的情况下集群仍然可用，集群使用了主从复制模型。读取数据时，根据一致性哈希算法到对应的 master 节点获取数据，如果master 挂掉之后，会启动一个对应的 salve 节点来充当 master 。

　　2、环境准备

　　这里准备在一台PC上搭建一个3主3从的redis集群。

在/opt/目录下新建一个文件夹rediscluster，用来存放集群节点目录。

　　然后分别新建server10、server11、server20、server21、server30、server31 6个文件夹准备6个redis节点，这些节点分别使用6379、6380、6381、6382、6383、6384端口，以server10为例配置如下：

port 6379

daemonize yes

pidfile /var/run/redis_6379.pid

cluster-enabled yes

cluster-node-timeout 15000

cluster-config-file  nodes-6379.conf

　　其他节点只需修改端口和文件名，依次按此进行配置即可，配置完成后启动这些节点。

[root@localhost rediscluster]# ./server10/redis-server ./server10/redis.conf &

[root@localhost rediscluster]# ./server11/redis-server ./server11/redis.conf &

[root@localhost rediscluster]# ./server20/redis-server ./server20/redis.conf &

[root@localhost rediscluster]# ./server21/redis-server ./server21/redis.conf &

[root@localhost rediscluster]# ./server30/redis-server ./server30/redis.conf &

[root@localhost rediscluster]# ./server31/redis-server ./server31/redis.conf &

　　查看启动状态：

[root@localhost rediscluster]# ps -ef|grep redis
root     11842     1  0 15:03 ?        00:00:12 ./server10/redis-server 127.0.0.1:6379 [cluster]
root     11950     1  0 15:03 ?        00:00:13 ./server11/redis-server 127.0.0.1:6380 [cluster]
root     12074     1  0 15:04 ?        00:00:13 ./server20/redis-server 127.0.0.1:6381 [cluster]
root     12181     1  0 15:04 ?        00:00:12 ./server21/redis-server 127.0.0.1:6382 [cluster]
root     12297     1  0 15:04 ?        00:00:12 ./server30/redis-server 127.0.0.1:6383 [cluster]
root     12404     1  0 15:04 ?        00:00:12 ./server31/redis-server 127.0.0.1:6384 [cluster]

　　3、集群配置

　　非常简单：redis-cli --cluster create 127.0.0.1:6379 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6382 127.0.0.1:6383 127.0.0.1:6384 --cluster -replicas

　　其中-replicas 1表示每个主节点1个从节点

[root@localhost rediscluster]# ./server10/redis-cli --cluster create 127.0.0.1: 127.0.0.1: 127.0.0.1: 127.0.0.1: 127.0.0.1: 127.0.0.1: --cluster-replicas

>>> Performing hash slots allocation on  nodes...

Master[] -> Slots  -

Master[] -> Slots  -

Master[] -> Slots  -

Adding replica 127.0.0.1: to 127.0.0.1:

Adding replica 127.0.0.1: to 127.0.0.1:

Adding replica 127.0.0.1: to 127.0.0.1:

>>> Trying to optimize slaves allocation for anti-affinity

[WARNING] Some slaves are in the same host as their master

M: efa84a74525749b8ea20585074dda81b852e9c29 127.0.0.1:

   slots:[-] ( slots) master

M: 63e20c75984e493892265ddd2a441c81bcdc575c 127.0.0.1:

   slots:[-] ( slots) master

M: d9a79ed6204e558b2fcee78ea05218b4de006acd 127.0.0.1:

   slots:[-] ( slots) master

S: 0469ec03b43e27dc2b7b4eb24de34e10969e3adf 127.0.0.1:

   replicates 63e20c75984e493892265ddd2a441c81bcdc575c

S: fd8ea61503e7c9b6e950894c0da41aed3ee19e7e 127.0.0.1:

   replicates d9a79ed6204e558b2fcee78ea05218b4de006acd

S: ddebc3ca467d15c7d25125e4e16bcc5576a13699 127.0.0.1:

   replicates efa84a74525749b8ea20585074dda81b852e9c29

Can I set the above configuration? (type 'yes' to accept): yes

>>> Nodes configuration updated

>>> Assign a different config epoch to each node

>>> Sending CLUSTER MEET messages to join the cluster

Waiting for the cluster to join

....

>>> Performing Cluster Check (using node 127.0.0.1:)

M: efa84a74525749b8ea20585074dda81b852e9c29 127.0.0.1:

   slots:[-] ( slots) master

    additional replica(s)

M: d9a79ed6204e558b2fcee78ea05218b4de006acd 127.0.0.1:

   slots:[-] ( slots) master

    additional replica(s)

S: 0469ec03b43e27dc2b7b4eb24de34e10969e3adf 127.0.0.1:

   slots: ( slots) slave

   replicates 63e20c75984e493892265ddd2a441c81bcdc575c

S: ddebc3ca467d15c7d25125e4e16bcc5576a13699 127.0.0.1:

   slots: ( slots) slave

   replicates efa84a74525749b8ea20585074dda81b852e9c29

M: 63e20c75984e493892265ddd2a441c81bcdc575c 127.0.0.1:

   slots:[-] ( slots) master

    additional replica(s)

S: fd8ea61503e7c9b6e950894c0da41aed3ee19e7e 127.0.0.1:

   slots: ( slots) slave

   replicates d9a79ed6204e558b2fcee78ea05218b4de006acd

[OK] All nodes agree about slots configuration.

>>> Check for open slots...

>>> Check slots coverage...

[OK] All  slots covered.

　　创建完成，主从节点分配如下：

Adding replica 127.0.0.1: to 127.0.0.1:

Adding replica 127.0.0.1: to 127.0.0.1:

Adding replica 127.0.0.1: to 127.0.0.1:

　　4、集群测试

　　通过6379客户端连接后进行测试，发现转向了6381：

[root@localhost rediscluster]# ./server10/redis-cli -h 127.0.0.1 -c -p

127.0.0.1:> set foo bar

-> Redirected to slot [] located at 127.0.0.1:

OK

127.0.0.1:> get foo

"bar"

　　在6381上连接测试：

[root@localhost rediscluster]# ./server10/redis-cli -h 127.0.0.1 -c -p

127.0.0.1:> get foo

"bar"

　　结果相同，说明集群配置正常。

　　5、集群节点扩容

　　在rediscluster目录下在新增两个目录server40和server41,新增2个redis节点配置6385和6386两个端口。将6385作为新增的master节点，6386作为从节点，然后启动节点：

[root@localhost server41]# ps -ef|grep redis

root             : ?        :: ./server10/redis-server 127.0.0.1: [cluster]

root             : ?        :: ./server11/redis-server 127.0.0.1: [cluster]

root             : ?        :: ./server20/redis-server 127.0.0.1: [cluster]

root             : ?        :: ./server21/redis-server 127.0.0.1: [cluster]

root             : ?        :: ./server30/redis-server 127.0.0.1: [cluster]

root             : ?        :: ./server31/redis-server 127.0.0.1: [cluster]

root             : ?        :: ./redis-server 127.0.0.1: [cluster]

root             : ?        :: ./redis-server 127.0.0.1: [cluster]

　　添加主节点：

[root@localhost server41]# ./redis-cli --cluster add-node 127.0.0.1: 127.0.0.1:

>>> Adding node 127.0.0.1: to cluster 127.0.0.1:

>>> Performing Cluster Check (using node 127.0.0.1:)

M: efa84a74525749b8ea20585074dda81b852e9c29 127.0.0.1:

   slots:[-] ( slots) master

    additional replica(s)

M: d9a79ed6204e558b2fcee78ea05218b4de006acd 127.0.0.1:

   slots:[-] ( slots) master

    additional replica(s)

S: 0469ec03b43e27dc2b7b4eb24de34e10969e3adf 127.0.0.1:

   slots: ( slots) slave

   replicates 63e20c75984e493892265ddd2a441c81bcdc575c

S: ddebc3ca467d15c7d25125e4e16bcc5576a13699 127.0.0.1:

   slots: ( slots) slave

   replicates efa84a74525749b8ea20585074dda81b852e9c29

M: 63e20c75984e493892265ddd2a441c81bcdc575c 127.0.0.1:

   slots:[-] ( slots) master

    additional replica(s)

S: fd8ea61503e7c9b6e950894c0da41aed3ee19e7e 127.0.0.1:

   slots: ( slots) slave

   replicates d9a79ed6204e558b2fcee78ea05218b4de006acd

[OK] All nodes agree about slots configuration.

>>> Check for open slots...

>>> Check slots coverage...

[OK] All  slots covered.

>>> Send CLUSTER MEET to node 127.0.0.1: to make it join the cluster.

[OK] New node added correctly.

　　查看节点列表：

[root@localhost server41]# ./redis-cli

127.0.0.1:> cluster nodes

22e8a8e97d6f7cc7d627e577a986384d4d181a4f 127.0.0.1:@ master -    connected

efa84a74525749b8ea20585074dda81b852e9c29 127.0.0.1:@ myself,master -    connected -

d9a79ed6204e558b2fcee78ea05218b4de006acd 127.0.0.1:@ master -    connected -

0469ec03b43e27dc2b7b4eb24de34e10969e3adf 127.0.0.1:@ slave 63e20c75984e493892265ddd2a441c81bcdc575c    connected

ddebc3ca467d15c7d25125e4e16bcc5576a13699 127.0.0.1:@ slave efa84a74525749b8ea20585074dda81b852e9c29    connected

63e20c75984e493892265ddd2a441c81bcdc575c 127.0.0.1:@ master -    connected -

fd8ea61503e7c9b6e950894c0da41aed3ee19e7e 127.0.0.1:@ slave d9a79ed6204e558b2fcee78ea05218b4de006acd    connected

　　添加从节点：

[root@localhost server41]# ./redis-cli --cluster add-node 127.0.0.1: 127.0.0.1: --cluster-slave --cluster-master-id 22e8a8e97d6f7cc7d627e577a986384d4d181a4f

>>> Adding node 127.0.0.1: to cluster 127.0.0.1:

>>> Performing Cluster Check (using node 127.0.0.1:)

M: efa84a74525749b8ea20585074dda81b852e9c29 127.0.0.1:

   slots:[-] ( slots) master

    additional replica(s)

M: 22e8a8e97d6f7cc7d627e577a986384d4d181a4f 127.0.0.1:

   slots: ( slots) master

M: d9a79ed6204e558b2fcee78ea05218b4de006acd 127.0.0.1:

   slots:[-] ( slots) master

    additional replica(s)

S: 0469ec03b43e27dc2b7b4eb24de34e10969e3adf 127.0.0.1:

   slots: ( slots) slave

   replicates 63e20c75984e493892265ddd2a441c81bcdc575c

S: ddebc3ca467d15c7d25125e4e16bcc5576a13699 127.0.0.1:

   slots: ( slots) slave

   replicates efa84a74525749b8ea20585074dda81b852e9c29

M: 63e20c75984e493892265ddd2a441c81bcdc575c 127.0.0.1:

   slots:[-] ( slots) master

    additional replica(s)

S: fd8ea61503e7c9b6e950894c0da41aed3ee19e7e 127.0.0.1:

   slots: ( slots) slave

   replicates d9a79ed6204e558b2fcee78ea05218b4de006acd

[OK] All nodes agree about slots configuration.

>>> Check for open slots...

>>> Check slots coverage...

[OK] All  slots covered.

>>> Send CLUSTER MEET to node 127.0.0.1: to make it join the cluster.

Waiting for the cluster to join

>>> Configure node as replica of 127.0.0.1:.

[OK] New node added correctly.

　　添加成功后，为新节点分配数据：

[root@localhost server41]# ./redis-cli --cluster reshard 127.0.0.1:

How many slots do you want to move (from  to )?

What is the receiving node ID? 22e8a8e97d6f7cc7d627e577a986384d4d181a4f

Please enter all the source node IDs.

  Type 'all' to use all the nodes as source nodes for the hash slots.

  Type 'done' once you entered all the source nodes IDs.

Source node #: all

　　这样就新增完毕了，可以通过cluster nodes命令查看一下新增后的slot分布

127.0.0.1:> cluster nodes

22e8a8e97d6f7cc7d627e577a986384d4d181a4f 127.0.0.1:@ master -    connected - - -

efa84a74525749b8ea20585074dda81b852e9c29 127.0.0.1:@ myself,master -    connected -

d9a79ed6204e558b2fcee78ea05218b4de006acd 127.0.0.1:@ master -    connected -

7c24e205301b38caa1ff3cd8b270a1ceb7249a2e 127.0.0.1:@ slave 22e8a8e97d6f7cc7d627e577a986384d4d181a4f    connected

0469ec03b43e27dc2b7b4eb24de34e10969e3adf 127.0.0.1:@ slave 63e20c75984e493892265ddd2a441c81bcdc575c    connected

ddebc3ca467d15c7d25125e4e16bcc5576a13699 127.0.0.1:@ slave efa84a74525749b8ea20585074dda81b852e9c29    connected

63e20c75984e493892265ddd2a441c81bcdc575c 127.0.0.1:@ master -    connected -

fd8ea61503e7c9b6e950894c0da41aed3ee19e7e 127.0.0.1:@ slave d9a79ed6204e558b2fcee78ea05218b4de006acd    connected

　　6、集群节点缩减

　　缩减节点时先缩减从节点:

[root@localhost server41]# ./redis-cli --cluster del-node 127.0.0.1: 7c24e205301b38caa1ff3cd8b270a1ceb7249a2e

>>> Removing node 7c24e205301b38caa1ff3cd8b270a1ceb7249a2e from cluster 127.0.0.1:

>>> Sending CLUSTER FORGET messages to the cluster...

>>> SHUTDOWN the node.

　　然后进行主节点slot转移：

[root@localhost server41]# ./redis-cli --cluster reshard 127.0.0.1:

How many slots do you want to move (from  to )?

What is the receiving node ID? efa84a74525749b8ea20585074dda81b852e9c29  //要移到的节点

Please enter all the source node IDs.

  Type 'all' to use all the nodes as source nodes for the hash slots.

  Type 'done' once you entered all the source nodes IDs.

Source node #: 22e8a8e97d6f7cc7d627e577a986384d4d181a4f   //要删除的主节点

Source node #: done

　　最后在缩减主节点

[root@localhost server41]# ./redis-cli --cluster del-node 127.0.0.1: 22e8a8e97d6f7cc7d627e577a986384d4d181a4f

>>> Removing node 22e8a8e97d6f7cc7d627e577a986384d4d181a4f from cluster 127.0.0.1:

>>> Sending CLUSTER FORGET messages to the cluster...

>>> SHUTDOWN the node.

[root@localhost server41]# ./redis-cli

127.0.0.1:> cluster nodes

efa84a74525749b8ea20585074dda81b852e9c29 127.0.0.1:@ myself,master -    connected - -

d9a79ed6204e558b2fcee78ea05218b4de006acd 127.0.0.1:@ master -    connected -

0469ec03b43e27dc2b7b4eb24de34e10969e3adf 127.0.0.1:@ slave 63e20c75984e493892265ddd2a441c81bcdc575c    connected

ddebc3ca467d15c7d25125e4e16bcc5576a13699 127.0.0.1:@ slave efa84a74525749b8ea20585074dda81b852e9c29    connected

63e20c75984e493892265ddd2a441c81bcdc575c 127.0.0.1:@ master -    connected -

fd8ea61503e7c9b6e950894c0da41aed3ee19e7e 127.0.0.1:@ slave d9a79ed6204e558b2fcee78ea05218b4de006acd    connected

　　缩减完成！

redis集群配置与管理的更多相关文章

Redis集群配置（linux）
*弄了一天,有问题直接问我.qq:137416943 1.redis集群的配置和简单使用 Redis集群配置 0.首先要配置环境: 0.1 安装c++ yum install gcc-c++ ...
java操作redis集群配置[可配置密码]和工具类（比较好用）
转: java操作redis集群配置[可配置密码]和工具类 java操作redis集群配置[可配置密码]和工具类 <dependency> <groupId>red ...
java操作redis集群配置[可配置密码]和工具类
java操作redis集群配置[可配置密码]和工具类 <dependency> <groupId>redis.clients</groupId> & ...
Linux系统下安装Redis和Redis集群配置
Linux系统下安装Redis和Redis集群配置一. 下载.安装.配置环境: 1.1.>官网下载地址: https://redis.io/download (本人下载的是3.2.8版本:re ...
centos6.5下redis集群配置（多机多节点）
可参考官网文档:redis集群配置需要注意的是,集群中的每个节点都会涉及到两个端口,一个是用于处理客户端操作的(如下介绍到的6379/6380),另一个是10000+{监听端口},用于集群各个节点间 ...
redis简介以及redis集群配置
简介: redis 是一个高性能的key-value数据库..它支持存储的value类型相对更多,包括string(字符串).list(链表).set(集合).zset(sorted set --有序 ...
redis 集群配置实战
文章转载自:http://hot66hot.iteye.com/blog/2050676 最近研究Redis-cluster,正好搭建了一个环境,遇到了很多坑,系统的总结下,等到redis3 rele ...
redis集群配置
客户端分片程序端实现代理proxy,访问proxy,proxy指定redis保存位置. Twemproxy Redis cluster ,会造成一部分数据丢失,无中心化1.将数据自动切分(spli ...
redis集群的远程管理与监控
一.redis集群的重要性目前大部分的互联网平台,都会用到Redis内存数据库,以提高响应速度,提升用户使用体验. 为了实现Redis的高可用,通常都会布署Redis集群,使用Redis-Senti ...

随机推荐

RequestMapper
@RequestMapping(value = "/v1/getAllUrl", method = RequestMethod.POST) public Object getAll ...
我的工具：Ping工具
C# Ping工具通过该工具可以多个地点Ping服务器以检测服务器响应速度,同时也可以测试网站的响应速度,解析时间,服务器连接时间,下载速度工具下载地址:https://download.csdn ...
美化ubuntu18.04，并安装搜狗输入法
目录美化Ubuntu 下载主题和图标文件下载GNOME3 美化过程安装输入法下载并安装搜狗输入法安装fcitx框架安装过程美化Ubuntu 下载主题和图标文件下载地址:https:// ...
mysql 8.0.X 创建新的数据库、用户并授权
一.创建数据库 mysql> create database jira; Query OK, 0 rows affected (0.09 sec) 二.创建用户 mysql> create ...
LeetCode33—搜索旋转排序数组
方法一:先找到旋转点,然后根据目标值重新确定二分查找区域. 时间复杂度:用到两次二分查找,每次二分查找粗略的认为是O(logn),那么时间复杂度为2 * O(logn): 空间复杂度:O(1). in ...
关于Oracle使用管理员账号登录失败的问题
我在本地建的Oracle数据库在调试自己写的存储过程的时候提示缺少 debug connect session 权限,一般情况下根据这个提示直接用管理员账号登录进去,执行 grant debug co ...
LeetCode136.只出现一次的数字
给定一个非空整数数组,除了某个元素只出现一次以外,其余每个元素均出现两次.找出那个只出现了一次的元素. 说明: 你的算法应该具有线性时间复杂度. 你可以不使用额外空间来实现吗? 示例 1: 输入: [ ...
基于Redis实现分布式锁
分布式锁具有的特性: 1.排他性: 文件系统: 数据库:主键唯一约束 for update 性能较差,容易出现单点故障锁没有失效时间,容易死锁缓存Redis:setnx 实现复杂: 存在死锁(或 ...
MCMC算法解析
MCMC算法的核心思想是我们已知一个概率密度函数,需要从这个概率分布中采样,来分析这个分布的一些统计特性,然而这个这个函数非常之复杂,怎么去采样?这时,就可以借助MCMC的思想. 它与变分自编码不同在 ...
迁移git
转自:https://www.darrenfang.com/2016/03/transferring-a-repository/ 因为更换服务器,需要将原来的 git 项目迁移到新的服务器上,需要保留 ...

redis集群配置与管理

redis集群配置与管理的更多相关文章

随机推荐

热门专题