Redis Cluster(Redis集群)的搭建和使用

Reids集群准备知识：

（1）Redis集群介绍

Redis 集群是一个提供在多个Redis间节点间共享数据的程序集。

Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误.

Redis 集群通过分区来提供一定程度的可用性,在实际环境中当某个节点宕机或者不可达的情况下继续处理命令. Redis 集群的优势:

自动分割数据到不同的节点上。

整个集群的部分节点失败或者不可达的情况下能够继续处理命令。

（2）Redis 集群的数据分片

Redis 集群没有使用一致性hash, 而是引入了 哈希槽的概念.

Redis 集群有16384个哈希槽,每个key通过CRC16校验后对16384取模来决定放置哪个槽.集群的每个节点负责一部分hash槽,举个例子,比如当前集群有3个节点,那么:

节点 A 包含 0 到 5500号哈希槽.

节点 B 包含5501 到 11000 号哈希槽.

节点 C 包含11001 到 16384号哈希槽.

这种结构很容易添加或者删除节点. 比如如果我想新添加个节点D, 我需要从节点 A, B, C中得部分槽到D上. 如果我像移除节点A,需要将A中得槽移到B和C节点上,然后将没有任何槽的A节点从集群中移除即可. 由于从一个节点将哈希槽移动到另一个节点并不会停止服务,所以无论添加删除或者改变某个节点的哈希槽的数量都不会造成集群不可用的状态.

（3）Redis 集群的主从复制模型

为了使在部分节点失败或者大部分节点无法通信的情况下集群仍然可用，所以集群使用了主从复制模型,每个节点都会有N-1个复制品.

在我们例子中具有A，B，C三个节点的集群,在没有复制模型的情况下,如果节点B失败了，那么整个集群就会以为缺少5501-11000这个范围的槽而不可用.

然而如果在集群创建的时候（或者过一段时间）我们为每个节点添加一个从节点A1，B1，C1,那么整个集群便有三个master节点和三个slave节点组成，这样在节点B失败后，集群便会选举B1为新的主节点继续服务，整个集群便不会因为槽找不到而不可用了

不过当B和B1 都失败后，集群是不可用的.

（4）Redis 一致性保证

Redis 并不能保证数据的强一致性. 这意味这在实际中集群在特定的条件下可能会丢失写操作.

第一个原因是因为集群是用了异步复制. 写操作过程:

客户端向主节点B写入一条命令.

主节点B向客户端回复命令状态.

主节点将写操作复制给他得从节点 B1, B2 和 B3.

主节点对命令的复制工作发生在返回命令回复之后， 因为如果每次处理命令请求都需要等待复制操作完成的话， 那么主节点处理命令请求的速度将极大地降低 —— 我们必须在性能和一致性之间做出权衡。 注意：Redis 集群可能会在将来提供同步写的方法。 Redis 集群另外一种可能会丢失命令的情况是集群出现了网络分区， 并且一个客户端与至少包括一个主节点在内的少数实例被孤立。

举个例子 假设集群包含 A 、 B 、 C 、 A1 、 B1 、 C1 六个节点， 其中 A 、B 、C 为主节点， A1 、B1 、C1 为A，B，C的从节点， 还有一个客户端 Z1 假设集群中发生网络分区，那么集群可能会分为两方，大部分的一方包含节点 A 、C 、A1 、B1 和 C1 ，小部分的一方则包含节点 B 和客户端 Z1 .

Z1仍然能够向主节点B中写入, 如果网络分区发生时间较短,那么集群将会继续正常运作,如果分区的时间足够让大部分的一方将B1选举为新的master，那么Z1写入B中得数据便丢失了.

注意， 在网络分裂出现期间， 客户端 Z1 可以向主节点 B 发送写命令的最大时间是有限制的， 这一时间限制称为节点超时时间（node timeout）， 是 Redis 集群的一个重要的配置选项：

搭建并使用Redis集群

Redis官方文档翻译：http://wiki.jikexueyuan.com/project/redis-guide/

1.下载redis wget http://download.redis.io/releases/redis-3.2.8.tar.gz

2.安装VWware，并在VWware上安装三台CentOS服务器(CentOS 7)，ip地址分别是：

192.9.200.240，192.9.200.241，192.9.200.242

3.分别在CentOS服务器上的/user/local文件中下载，解压，安装redis

(1) redis wget http://download.redis.io/releases/redis-3.2.8.tar.gz

(2)  tar xf redis-3.2.8.tar.gz

cd redis-3.2.8

make && make install

(3) mkdir /data/cluster -p

cd /data/cluster

mkdir 7000 7001

(4) cp redis-3.2.8/redis.conf /data/cluster/7000/

(5) 修改配置文件中下面选项

port 7000

daemonize yes

cluster-enabled yes

cluster-config-file nodes.conf

cluster-node-timeout 5000

appendonly yes

bind 0.0.0.0

文件中的 cluster-enabled 选项用于开实例的集群模式， 而 cluster-conf-file 选项则设定了保存节点配置文件的路径， 默认值为nodes.conf 。其他参数相信童鞋们都知道。节点配置文件无须人为修改， 它由 Redis 集群在启动时创建， 并在有需要时自动进行更新。bind 0.0.0.0,如果默认是127.0.0.1，则该Redis服务器实例只能有本地连接。因为咱是三台节点，六个实例所以要改成0.0.0.0

修改完成后，把修改完成的redis.conf复制到7001-7005目录下，并且端口修改成和文件夹对应。

(6)  分别启2个redis实例。

cd /data/cluster/7000

redis-server redis.conf

cd /data/cluster/7001

redis-server redis.conf

(7) 查看进程否存在。

ps -ef | grep redis

注意：每台服务器上分别启动两个redis服务

如何通过客户端连接服务器

redis-cli -h 127.0.0.1 -p 7004

4. 安装ruby的运行环境

yum install ruby rubygems -y

5. 安装gem-redis

下载地址：https://rubygems.org/gems/redis/versions/3.0.0

gem install redis -v 3.0.0

6. 复制集群管理程序到/usr/local/bin

cp redis-3.0.0/src/redis-trib.rb /usr/local/bin/redis-trib

7. 创建集群：

redis-trib create --replicas 1 192.9.200.240:7000 192.9.200.240:7001 192.9.200.241:7004 192.9.200.241:7005 192.9.200.242:7003 192.9.200.242:7002

注意：关于端口不通的解决方案

http://blog.csdn.net/zp1996323/article/details/52336851

命令的意义如下：

给定 redis-trib.rb 程序的命令是 create ， 这表示我们希望创建一个新的集群。

选项 --replicas 1 表示我们希望为集群中的每个主节点创建一个从节点。

之后跟着的其他参数则是实例的地址列表， 我们希望程序使用这些地址所指示的实例来创建新集群。

简单来说， 以上命令的意思就是让 redis-trib 程序创建一个包含三个主节点和三个从节点的集群。

接着， redis-trib 会打印出一份预想中的配置给你看， 如果你觉得没问题的话， 就可以输入 yes ， redis-trib 就会将这份配置应用到集群当中

输入 yes 并按下回车确认之后， 集群就会将配置应用到各个节点， 并连接起（join）各个节点 —— 也即是， 让各个节点开始互相通讯：

一切正常输出以下信息：

注意：

（1） 一定要在iptables防火请中开发六个节点对应的六个集群中线端口，这六个端口分别是客户端连接端口+10000，不这样做创建集群会一直等待不成功

（2）如果第一次创建集群未成功，可能会出现以下错误：

解决方法：http://blog.csdn.net/vtopqx/article/details/50235737

8 测试 Redis 集群比较简单的办法就是使用 redis-rb-cluster 或者 redis-cli ， 接下来我们将使用 redis-cli 为例来进行演示：

通过客户端连接reids集群，设置ky值时集群会计算放置的位置，这是会发生重定向。Ip和端口会发生变化，这是集群配置成功了！

检查集群状态