Redis Cluster集群搭建<原>

一、环境配置

一台window 7上安装虚拟机，虚拟机中安装的是centos系统。

二、目标

Redis集群搭建的方式有多种，根据集群逻辑的位置，大致可以分为三大类：基于客户端分片的Redis Sharding，如Jedis；基于服务器分片的Redis Cluster；基于客户端服务端之间的代理中间件的集群方案，如Twitter开发的twemproxy、豌豆荚的Codis等。本文接受的Redis-cluster是Redis3.0版本之后，官方推出的一款集群解决方案。与大多数分布式中间件一样，redis的cluster也是依赖选举算法来保证集群的高可用，所以类似ZooKeeper一样，一般是奇数个节点(可以允许N/2以下的节点失效)，再考虑到每个节点做Master-Slave互为备份，所以一个redis cluster集群最少也得6个节点。因此，目标是在centos上搭建一个有6个节点的redis-cluster，端口号为 7000-7005。集群结构图如下所示：

三、搭建步骤

第一步、新建redis安装目录

mkdir /opt/app/redis_cluster
cd /opt/app/redis_cluster

第二步、下载、解压、编译

$ wget http://download.redis.io/releases/redis-3.0.7.tar.gz
$ tar xzf redis-3.0.7.tar.gz
$ cd redis-3.0.7
$ make

第三步、新建六个redis节点

[root@localhost redis-cluster]# mkdir 7000 7001 7002 7003 7004 7005

如下图所示，文件夹结构如下，六个文件夹分别保存六个节点相关的配置信息。

分别在7000-7005六个文件夹中创建redis.conf文件，并添加配置，配置内容如下

          注意：端口号 port 与所在文件夹名相同；cluster-config-file 地址中的 7000 也必须跟文件夹名相同。

1.       port 7000

2.       cluster-enabled yes

3.       cluster-config-file /opt/app/redis_cluster/7000/nodes.conf

4.       cluster-node-timeout 5000

5.       appendonly yes

第四步、安装ruby依赖

集群的命令依赖ruby环境，因此需要先安装ruby，使用yum命令安装。

[root@localhost redis_cluster]# yum install ruby -y

第五步、安装rubygems依赖

安装完ruby后，再安装rubygems组件，依然使用yum命令安装。

[root@localhost redis_cluster]# yum install rubygems -y

第六步、安装gem-redis依赖

保持耐心，接下来需要安装gem-redis，这个组件其实是redis和ruby的接口。可以去网址https://rubygems.org/gems/redis/versions/查看当前的版本，我本地安装时未加版本号，默认安装最新版本（3.3.1），可以带上版本号安装指定版本，命令如下：

[root@localhost redis_cluster]# gem install redis -v 3.0.7

第七步、分别启动6个redis实例

至此，该安装的组件都已经安装完毕。然后，依次开启刚才定义好配置的六个redis节点。启动redis服务的命令如下：

[root@localhost redis_cluster]# redis-3.0.7/src/redis-server 7000/redis.conf &

这里可以注意到，每次创建时，配置不同的文件夹里的redis.conf。

都启动完了之后，可以使用命令检查下6个进程：

[root@localhost redis_cluster]# ps -ef | grep redis

第八步、创建集群

走到这一步时，恭喜你，redis-cluster即将完成。创建集群的命令也很简单：

[root@localhost src]# ./redis-trib.rb create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005

创建过程中 redis-trib 会打印出一份预想中的配置给你看，如果你觉得没问题的话，就可以输入 “yes” ， redis-trib 就会将这份配置应用到集群当中：

>>> Creating cluster

Connecting to node 127.0.0.1:7000: OK

Connecting to node 127.0.0.1:7001: OK

Connecting to node 127.0.0.1:7002: OK

Connecting to node 127.0.0.1:7003: OK

Connecting to node 127.0.0.1:7004: OK

Connecting to node 127.0.0.1:7005: OK

>>> Performing hash slots allocation on 6 nodes...

Using 3 masters:

127.0.0.1:7000

127.0.0.1:7001

127.0.0.1:7002

Adding replica 127.0.0.1:7003 to 127.0.0.1:7000

Adding replica 127.0.0.1:7004 to 127.0.0.1:7001

Adding replica 127.0.0.1:7005 to 127.0.0.1:7002

M: 2774f156af482b4f76a5c0bda8ec561a8a1719c2 127.0.0.1:7000

slots:0-5460 (5461 slots) master

M: 2d03b862083ee1b1785dba5db2987739cf3a80eb 127.0.0.1:7001

slots:5461-10922 (5462 slots) master

M: 0456869a2c2359c3e06e065a09de86df2e3135ac 127.0.0.1:7002

slots:10923-16383 (5461 slots) master

S: 37b251500385929d5c54a005809377681b95ca90 127.0.0.1:7003

replicates 2774f156af482b4f76a5c0bda8ec561a8a1719c2

S: e2e2e692c40fc34f700762d1fe3a8df94816a062 127.0.0.1:7004

replicates 2d03b862083ee1b1785dba5db2987739cf3a80eb

S: 9923235f8f2b2587407350b1d8b887a7a59de8db 127.0.0.1:7005

replicates 0456869a2c2359c3e06e065a09de86df2e3135ac

Can I set the above configuration? (type 'yes' to accept):

输入 yes 并按下回车确认之后，集群就会将配置应用到各个节点，并连接起（join）各个节点 —— 也即是，让各个节点开始互相通讯：

Can I set the above configuration? (type 'yes' to accept): yes

>>> Nodes configuration updated

>>> Assign a different config epoch to each node

>>> Sending CLUSTER MEET messages to join the cluster

Waiting for the cluster to join......

>>> Performing Cluster Check (using node 127.0.0.1:7000)

M: 2774f156af482b4f76a5c0bda8ec561a8a1719c2 127.0.0.1:7000

slots:0-5460 (5461 slots) master

M: 2d03b862083ee1b1785dba5db2987739cf3a80eb 127.0.0.1:7001

slots:5461-10922 (5462 slots) master

M: 0456869a2c2359c3e06e065a09de86df2e3135ac 127.0.0.1:7002

slots:10923-16383 (5461 slots) master

M: 37b251500385929d5c54a005809377681b95ca90 127.0.0.1:7003

slots: (0 slots) master

replicates 2774f156af482b4f76a5c0bda8ec561a8a1719c2

M: e2e2e692c40fc34f700762d1fe3a8df94816a062 127.0.0.1:7004

slots: (0 slots) master

replicates 2d03b862083ee1b1785dba5db2987739cf3a80eb

M: 9923235f8f2b2587407350b1d8b887a7a59de8db 127.0.0.1:7005

slots: (0 slots) master

replicates 0456869a2c2359c3e06e065a09de86df2e3135ac

[OK] All nodes agree about slots configuration.

>>> Check for open slots...

>>> Check slots coverage...

[OK] All 16384 slots covered.

一切正常输出以下信息：

[OK] All nodes agree about slots configuration.

>>> Check for open slots...

>>> Check slots coverage...

[OK] All 16384 slots covered.

四、Redis集群的测试

1、客户端连接集群

使用redis-cli命令，需要注意的命令中要带上-c，否则对于非本节点的slot，将不会进行重定位，而只是给出位置提示。可以选择连接集群中任意一个节点：

[root@localhost src]# ./redis-cli -c -p 7000

2、使用客户端查看集群信息

在客户端通过命令cluster info查看集群状态信息；使用cluster nodes查看当前所有节点的信息：

通过cluster nodes可以看到每个master节点被集群分配到的slot范围，如7000对应的是0-5460

3、存取值测试

根据redis-cluster的key值分配，name应该分配到节点7001[5798]上，上面显示redis cluster自动从7000跳转到了7001节点。

同理当取值的时候，也会判断被取值所在的位置，并自动跳转

对于值的存取，可以在集群中任意节点进行，cluster会自动跳转存取，包括slave节点,有点类似Http 302重定向

对于redis支持的其他数据类型如哈希、列表、集合、有序集合，此处不再测试，感兴趣的读者可以参考redis api自行研究。

4、集群节点选举

现在模拟将7001节点挂掉，按照redis-cluster原理，7001的从节点7004将被选举为主节点。使用redis-trib.rb check查看7001状态，可以看到7001Master对应的Slave是7004

Key“name“原来存在7001上：

接下来，杀死7001线程：

接下来，可以看到原来作为slave节点的7004升级为master节点，并且，查询key“name”，发现重定位到7004，替代了原来的7001节点。

现在我们恢复一下7001节点，使之重新启动，看是否自动重新加入到集群中以及充当M还是S：

7001重新加入集群，并且变成7004的slave节点。

五、总结

对客户端来说，整个cluster被看做是一个整体，客户端可以连接任意一个node进行操作，就像操作单一Redis实例一样，当客户端操作的key没有分配到该node上时，Redis会返回转向指令，指向正确的node，这有点儿像浏览器页面的302 redirect跳转。

优点：

1、 redis cluster作为一个集群，无中心的组织结构，客户端可以任一连接一个节点；

2、采用solt槽位的形式，增减节点不需要重启服务，集群性能佳；

3、每个节点都和N-1个节点通信，所以要维护好这个集群架构的每个节点信息，不然会导致整个集群不可工作；

4、自主监控，自动切换主从；

5、目前Redis官网主推。

缺点：

1、不能保证数据的强一致性，官网给出了两种可能丢失写命令的情况如下：

a) 客户端向主节点A发送一条写命令，主节点是首先立马向客户端返回命令回复，然后再把刚刚的执行写命令同步至从节点，追求性能所致该设计；

b) 网络分裂(network partition)，如果时间很长导致A节点的从节点转换为主节点，然这中间可能存在客户端正在和A节点通信也就被孤立了，这样写的命令将丢失，如当网络恢复A又重新加入集群。

2、 Redis 3.0以后才正式推出，时间较晚，目前能证明在大规模生产环境下成功的案例还不是很多，需要时间检验。

参考资料：

http://blog.csdn.net/fengshizty/article/details/51368004

http://blog.csdn.net/u011204847/article/details/51307044

http://blog.csdn.net/u014490157/article/details/52243996

http://www.cnblogs.com/junneyang/p/5899850.html