linux下redis的安装和集群搭建

一、redis概述

　　1.1、目前redis支持的cluster特性：

　　1):节点自动发现。

　　2):slave->master 选举,集群容错。

　　3):Hot resharding:在线分片。

　　4):进群管理:cluster xxx。

　　5):基于配置(nodes-port.conf)的集群管理。

　　6):ASK 转向/MOVED 转向机制。

　　1.2、redis cluster 架构

　　　　1)redis-cluster架构图

架构细节:

　　(1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽。

　　(2)节点的fail是通过集群中超过半数的节点检测失效时才生效。

　　(3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可。

　　(4)redis-cluster把所有的物理节点映射到[0-16383]slot上,cluster 负责维护node<->slot<->value。

 

   2) redis-cluster选举:容错

 　　　　

　　(1)领着选举过程是集群中所有master参与,如果半数以上master节点与master节点通信超过(cluster-node-timeout),认为当前master节点挂掉。

　　(2):什么时候整个集群不可用(cluster_state:fail),当集群不可用时,所有对集群的操作做都不可用，收到((error) CLUSTERDOWN The cluster is down)错误

    　　a:如果集群任意master挂掉,且当前master没有slave.集群进入fail状态,也可以理解成进群的slot映射[0-16383]不完成时进入fail状态。

    　　b:如果进群超过半数以上master挂掉，无论是否有slave集群进入fail状态。

二、redis集群搭建

2.1、下载和解压redis，这里安装redis-3.2.1版本的，3.0以下版本不支持集群。

[root@localhost ~]# cd /usr/local
[root@localhost local]# mkdir redis-cluster
[root@localhost local]# cd redis-cluster/
[root@localhost redis-cluster]# wget http://download.redis.io/releases/redis-3.2.1.tar.gz
[root@localhost redis-cluster]# tar -zxvf redis-3.2.1.tar.gz

2.2、编译安装

[root@localhost redis-cluster]# cd redis-3.2.1
[root@localhost redis-3.2.1]# make && make install

2.3、创建6个节点文件夹,每个文件夹我们就以每个端口号命名，方便管理

[root@localhost redis-3.2.1]# cd ..
[root@localhost redis-cluster]# mkdir 6379 6380 6381 6382 6383 6384

2.4、这里不需要复制整个redis，只复制redis.conf到对应文件夹

[root@localhost redis-cluster]# cp redis-3.2.1/redis.conf  6379/
[root@localhost redis-cluster]# cp redis-3.2.1/redis.conf  6380/
[root@localhost redis-cluster]# cp redis-3.2.1/redis.conf  6381/
[root@localhost redis-cluster]# cp redis-3.2.1/redis.conf  6382/
[root@localhost redis-cluster]# cp redis-3.2.1/redis.conf  6383/
[root@localhost redis-cluster]# cp redis-3.2.1/redis.conf  6384/

2.5、修改每个redis.conf,这里我就拿6379的来做演示，其他的一样操作就好了

[root@localhost redis-cluster]# vi 6379/redis.conf

修改的内容和下面一样(注意：先不要设置密码,否则集群搭建会出错，需要设置密码的，待集群搭建完成再进行设置)：

# 0.0.0.0 代表外网能访问
bind 0.0.0.0
# 改为no，可以外界远程访问，redis 3.2 才追加的一个功能
protected-mode no
# 开启端口
port 6379
tcp-backlog 511
timeout 0
tcp-keepalive 300
# 设置yes，redis可以后台运行
daemonize yes
supervised no
# pid路径
pidfile /var/run/redis_6379.pid
loglevel notice
# 日志文件
logfile "./6379/redis.log"
databases 16
save 900 1
save 300 10
save 60 10000
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename dump.rdb
# 方便管理
dir ./6379/
slave-serve-stale-data yes
slave-read-only yes
repl-diskless-sync no
repl-diskless-sync-delay 5
repl-disable-tcp-nodelay no
slave-priority 100
appendonly no
appendfsync everysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
aof-load-truncated yes
lua-time-limit 5000
# 开启集群，把注释#去掉
cluster-enabled yes
# 集群的配置，配置文件首次启动自动生成
cluster-config-file nodes-6379.conf
# 请求超时，设置5秒够了
cluster-node-timeout 5000
slowlog-log-slower-than 10000
slowlog-max-len 128
latency-monitor-threshold 0
notify-keyspace-events ""
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-size -2
list-compress-depth 0
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
hll-sparse-max-bytes 3000
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
aof-rewrite-incremental-fsync yes

2.6、开启6个redis节点

[root@localhost redis-cluster]# redis-server 6379/redis.conf && redis-server 6380/redis.conf && redis-server 6381/redis.conf && redis-server 6382/redis.conf && redis-server 6383/redis.conf && redis-server 6384/redis.conf

可以查看是否开启成功

[root@localhost redis-cluster]# ps -ef | grep redis

和下图所示一样就成功开启

三、开启集群模式

3.1、安装redis集群工具和环境

[root@localhost redis-cluster]# yum install ruby && yum install -y rubygems

还有一个，用gem这个命令来安装redis接口，gem是ruby的一个工具包

[root@localhost redis-cluster]# gem install redis

执行gem install redis后可能报错如下:

ERROR: Error installing redis:
redis requires Ruby version >= 2.2.2.

原因：

yum库中ruby的版本支持到 2.0.0,可gem 安装redis需要最低是2.2.2,自己编译的ruby源码,再执行还是报错…最后google结合几篇文章解决了: 
采用rvm来更新ruby:

解决方案(转http://blog.csdn.net/fengye_yulu/article/details/77628094)：

(1).安装RVM:

[root@zhiwen redis-cluster]# gpg2 --keyserver hkp://keys.gnupg.net --recv-keys D39DC0E3
[root@zhiwen redis-cluster]# curl -L get.rvm.io | bash -s stable
[root@zhiwen redis-cluster]# find / -name rvm -print

/usr/local/rvm
/usr/local/rvm/scripts/rvm
/usr/local/rvm/src/rvm
/usr/local/rvm/src/rvm/scripts/rvm
/usr/local/rvm/src/rvm/bin/rvm
/usr/local/rvm/src/rvm/lib/rvm
/usr/local/rvm/bin/rvm
/usr/local/rvm/lib/rvm

[root@zhiwen redis-cluster]# source /usr/local/rvm/scripts/rvm

(2).查看rvm库中已知的ruby版本:

[root@zhiwen redis-cluster]# rvm list known
# MRI Rubies
[ruby-]1.8.6[-p420]
[ruby-]1.8.7[-head] # security released on head
[ruby-]1.9.1[-p431]
[ruby-]1.9.2[-p330]
[ruby-]1.9.3[-p551]
[ruby-]2.0.0[-p648]
[ruby-]2.1[.10]
[ruby-]2.2[.7]
[ruby-]2.3[.4]
[ruby-]2.4[.1]
ruby-head

# for forks use: rvm install ruby-head-<name> --url https://github.com/github/ruby.git --branch 2.2

# JRuby
jruby-1.6[.8]
jruby-1.7[.27]
jruby[-9.1.13.0]
jruby-head

# Rubinius
rbx-1[.4.3]
rbx-2.3[.0]
rbx-2.4[.1]
rbx-2[.5.8]
rbx-3[.84]
rbx-head

# Opal
opal

# Minimalistic ruby implementation - ISO 30170:2012
mruby-1.0.0
mruby-1.1.0
mruby-1.2.0
mruby-1[.3.0]
mruby[-head]

# Ruby Enterprise Edition
ree-1.8.6
ree[-1.8.7][-2012.02]

# Topaz
topaz

# MagLev
maglev[-head]
maglev-1.0.0

# Mac OS X Snow Leopard Or Newer
macruby-0.10
macruby-0.11
macruby[-0.12]
macruby-nightly
macruby-head

# IronRuby
ironruby[-1.1.3]
ironruby-head

(3).安装一个ruby版本:

[root@zhiwen redis-cluster]# rvm install 2.4.1

(4).使用一个ruby版本

[root@zhiwen redis-cluster]# rvm use 2.4.1
Using /usr/local/rvm/gems/ruby-2.4.1

(5).设置默认版本

[root@zhiwen redis-cluster]# rvm use 2.4.1 --default
Using /usr/local/rvm/gems/ruby-2.4.1

(6).卸载一个已知版本

[root@zhiwen redis-cluster]# rvm remove 2.0.0
ruby-2.0.0-p648 - #already gone
Using /usr/local/rvm/gems/ruby-2.4.1

(7).查看ruby版本:

[root@zhiwen redis-cluster]# ruby --version
ruby 2.4.1p111 (2017-03-22 revision 58053) [x86_64-linux]

最后在运行命令(gem install redis)即可。

3.2、启动redis集群，服务器IP填自己的服务器地址

[root@localhost redis-cluster]# redis-3.2.1/src/redis-trib.rb  create --replicas 1 服务器IP:6379 服务器IP:6380 服务器IP:6381 服务器IP:6382 服务器IP:6383 服务器IP:6384

安装过程中，会出现红色框内提示，不用管，直接yes就好了，然后安装ok。

如果：

一直等待 Waiting for the cluster to join 很久都没有反应

原因：

redis集群不仅需要开通redis客户端连接的端口，而且需要开通集群总线端口

集群总线端口为redis客户端连接的端口 + 10000

如redis端口为6379

则集群总线端口为16379

故，所有服务器的点需要开通redis的客户端连接端口和集群总线端口

注意：iptables 放开，如果有安全组，也要放开这两个端口

四、设置redis密码，注意因为要集群，所以各节点的密码要相同

这里以6379举例，别的节点一模一样，

[root@localhost redis-cluster]# vi 6379/redis.conf

在配置文件最后添加：

masterauth 你的密码
requirepass 你的密码

然后重启redis：

[root@localhost redis-cluster]# ps -ef|grep redis
[root@localhost redis-cluster]# kill -9 进程号1 && kill -9 进程号2 && kill -9 进程号3 && kill -9 进程号4 && kill -9 进程号5 && kill -9 进程号6
[root@localhost redis-cluster]# redis-server 6379/redis.conf && redis-server 6380/redis.conf && redis-server 6381/redis.conf && redis-server 6382/redis.conf && redis-server 6383/redis.conf && redis-server 6384/redis.conf

四、关闭防火墙（如果防火墙关闭的请忽略）

我在这就忽略了, 具体自行百度linux对应你的系统版本关闭防火墙的方法。

五、测试是否搭建成功，使用RedisStudio图形界面工具分别连接6个节点，成功连接即可。