Redis容灾部署（哨兵Sentinel）

哨兵的作用

1. 监控：监控主从是否正常
2. 通知：出现问题时，可以通知相关人员
3. 故障迁移：自动主从切换
4. 统一的配置管理：连接者询问sentinel取得主从的地址

Raft分布式算法

1. 主要用途：用于分布式系统，系统容错，以及选出领头羊
2. 作者：Diego Ongaro，毕业于哈佛
3. 目前用到这个算法的项目有：

a. CoreOS : 见下面

b. ectd : a distributed, consistent shared configuration

c. LogCabin : 分布式存储系统

d. redis sentinel : redis 的监控系统

Sentinel使用的Raft算法核心: 原则

1. 所有sentinel都有选举的领头羊的权利
2. 每个sentinel都会要求其他sentinel选举自己为领头羊(主要由发现redis客观下线的sentinel先发起选举)
3. 每个sentinel只有一次选举的机会
4. 采用先到先得的原则
5. 一旦加入到系统了，则不会自动清除(这一点很重要, why?)
6. 每个sentinel都有唯一的uid，不会因为重启而变更
7. 达到领头羊的条件是 N/2 + 1个sentinel选择了自己
8. 采用配置纪元，如果一次选举出现脑裂，则配置纪元会递增，进入下一次选举，所有sentinel都会处于统一配置纪元，以最新的为标准。

Raft算法核心: 可视图

Raft Visualization (算法演示)

Raft分布式算法的应用

coreos:云计算新星 Docker 正在以火箭般的速度发展，与它相关的生态圈也渐入佳境，CoreOS 就是其中之一。CoreOS 是一个全新的、面向数据中心设计的 Linux 操作系统，在2014年7月发布了首个稳定版本，目前已经完成了800万美元的A轮融资。

Sentinel实现Redis容灾部署

三哨兵架构

[root@rocket sentinel]# tree

├── redis-cli

├── redis-sentinel

├── redis-server

├── sentinel1

│ ├── sentinel1.conf

│ └── sentinel1.log

├── sentinel2

│ ├── sentinel2.conf

│ └── sentinel2.log

└── sentinel3

├── sentinel3.conf

└── sentinel3.log

哨兵一配置sentinel1.conf

# Example sentinel.conf

# port <sentinel-port>

port 26371

# 守护进程模式

daemonize yes

# 指明日志文件名

logfile "./sentinel1.log"

# 工作路径，sentinel一般指定/tmp比较简单

dir ./

# 哨兵监控这个master，在至少quorum个哨兵实例都认为master down后把master标记为odown

# （objective down客观down；相对应的存在sdown，subjective down，主观down）状态。

# slaves是自动发现，所以你没必要明确指定slaves。

sentinel monitor TestMaster 127.0.0.1 7003 1

# master或slave多长时间（默认30秒）不能使用后标记为s_down状态。

sentinel down-after-milliseconds TestMaster 1500

# 若sentinel在该配置值内未能完成failover操作（即故障时master/slave自动切换），则认为本次failover失败。

sentinel failover-timeout TestMaster 10000

# 设置master和slaves验证密码

sentinel auth-pass TestMaster 0234kz9*l

sentinel config-epoch TestMaster 15

sentinel leader-epoch TestMaster 8394

# #除了当前哨兵, 还有哪些在监控这个master的哨兵

sentinel known-sentinel TestMaster 127.0.0.1 26372 0aca3a57038e2907c8a07be2b3c0d15171e44da5

sentinel known-sentinel TestMaster 127.0.0.1 26373 ac1ef015411583d4b9f3d81cee830060b2f29862

sentinel current-epoch 8394

哨兵二配置sentinel2.conf

# Example sentinel.conf

# port <sentinel-port>

port 26372

# 守护进程模式

daemonize yes

# 指明日志文件名

logfile "./sentinel2.log"

# 工作路径，sentinel一般指定/tmp比较简单

dir ./

# 哨兵监控这个master，在至少quorum个哨兵实例都认为master down后把master标记为odown

# （objective down客观down；相对应的存在sdown，subjective down，主观down）状态。

# slaves是自动发现，所以你没必要明确指定slaves。

sentinel monitor TestMaster 127.0.0.1 7003 1

# master或slave多长时间（默认30秒）不能使用后标记为s_down状态。

sentinel down-after-milliseconds TestMaster 1500

# 若sentinel在该配置值内未能完成failover操作（即故障时master/slave自动切换），则认为本次failover失败。

sentinel failover-timeout TestMaster 10000

# 设置master和slaves验证密码

sentinel auth-pass TestMaster 0234kz9*l

sentinel config-epoch TestMaster 15

sentinel leader-epoch TestMaster 8394

# #除了当前哨兵, 还有哪些在监控这个master的哨兵

sentinel known-sentinel TestMaster 127.0.0.1 26371 b780bbc20fdea6d3789637053600c5fc58dd0690

sentinel known-sentinel TestMaster 127.0.0.1 26373 ac1ef015411583d4b9f3d81cee830060b2f29862

sentinel current-epoch 8394

哨兵三配置sentinel3.conf

# Example sentinel.conf

# port <sentinel-port>

port 26373

# 守护进程模式

daemonize yes

# 指明日志文件名

logfile "./sentinel3.log"

# 工作路径，sentinel一般指定/tmp比较简单

dir ./

# 哨兵监控这个master，在至少quorum个哨兵实例都认为master down后把master标记为odown

# （objective down客观down；相对应的存在sdown，subjective down，主观down）状态。

# slaves是自动发现，所以你没必要明确指定slaves。

sentinel monitor TestMaster 127.0.0.1 7003 1

# master或slave多长时间（默认30秒）不能使用后标记为s_down状态。

sentinel down-after-milliseconds TestMaster 1500

# 若sentinel在该配置值内未能完成failover操作（即故障时master/slave自动切换），则认为本次failover失败。

sentinel failover-timeout TestMaster 10000

# 设置master和slaves验证密码

sentinel auth-pass TestMaster 0234kz9*l

sentinel config-epoch TestMaster 15

sentinel leader-epoch TestMaster 8394

# #除了当前哨兵, 还有哪些在监控这个master的哨兵

sentinel known-sentinel TestMaster 127.0.0.1 26371 b780bbc20fdea6d3789637053600c5fc58dd0690

sentinel known-sentinel TestMaster 127.0.0.1 26372 0aca3a57038e2907c8a07be2b3c0d15171e44da5

sentinel current-epoch 8394

在sentinel中查看所监控的master和slave

[root@rocket sentinel]# ./redis-cli -p 26371

127.0.0.1:26371> SENTINEL masters

1) 1) "name"

2) "TestMaster"

3) "ip"

4) "127.0.0.1"

5) "port"

6) "7003"

7) "runid"

8) "de0896e3799706bda49cb92048776e233841e25d"

9) "flags"

10) "master"

127.0.0.1:26371> SENTINEL slaves TestMaster

1) 1) "name"

2) "127.0.0.1:8003"

3) "ip"

4) "127.0.0.1"

5) "port"

6) "8003"

7) "runid"

8) "9b2a75596c828d6d605cc8529e96edcf951de25d"

9) "flags"

10) "slave"

查看当前的master

127.0.0.1:26371> SENTINEL get-master-addr-by-name TestMaster

1) "127.0.0.1"

2) "7003"

停掉master，查看容灾切换情况

[root@rocket master]# ps axu|grep redis

root 24000 0.2 0.9 137356 9556 ? Ssl Jan12 0:30 ./redis-server *:7003

root 24240 0.2 0.7 137356 7504 ? Ssl Jan12 0:26 ./redis-server *:8003

root 24873 0.3 0.7 137356 7524 ? Ssl 01:31 0:25 ../redis-sentinel *:26371

root 24971 0.3 0.7 137356 7524 ? Ssl 01:33 0:25 ../redis-sentinel *:26372

root 24981 0.3 0.7 137356 7520 ? Ssl 01:33 0:25 ../redis-sentinel *:26373

root 24995 0.0 0.5 19404 5080 pts/2 S+ 01:34 0:00 ./redis-cli -p 26371

root 25969 0.0 0.0 103252 844 pts/0 S+ 03:33 0:00 grep redis

[root@rocket master]# kill -QUIT 24000

再查看master，发现已经master已经切换为原来的slave

127.0.0.1:26371> SENTINEL get-master-addr-by-name TestMaster

1) "127.0.0.1"

2) "8003"

查看sentinel日志

启动原来的master，发现变成了slave

[root@rocket master]# ./redis-server ./redis.conf

127.0.0.1:26371> SENTINEL slaves TestMaster

1) 1) "name"

2) "127.0.0.1:7003"

3) "ip"

4) "127.0.0.1"

5) "port"

6) "7003"

发现主从发生了对调。

sentinel自动发现

每个Sentinel 都订阅了被它监视的所有主服务器和从服务器的__sentinel__:hello 频道，查找之前未出现过的sentinel（looking for unknown sentinels）。当一个Sentinel 发现一个新的Sentinel 时，它会将新的Sentinel 添加到一个列表中，这个列表保存了Sentinel 已知的，监视同一个主服务器的所有其他Sentinel。

127.0.0.1:7003[1]> SUBSCRIBE __sentinel__:hello

Reading messages... (press Ctrl-C to quit)

1) "subscribe"

2) "__sentinel__:hello"

3) (integer) 1

1) "message"

2) "__sentinel__:hello"

3) "127.0.0.1,26373,7d919ccfb5752caf6812da2d0dba4ed0a528ceda,8436,TestMaster,127.0.0.1,7003,8436"

1) "message"

2) "__sentinel__:hello"

3) "127.0.0.1,26372,9eda79e93e6d1aa4541564ac28e3dc899d39e43b,8436,TestMaster,127.0.0.1,7003,8436"

1) "message"

2) "__sentinel__:hello"

3) "127.0.0.1,26371,8d63bebfbca9e1205a43bc13b52079de6015758e,8436,TestMaster,127.0.0.1,7003,8436"

来源： http://www.linuxidc.com/Linux/2016-01/127425.htm

来自为知笔记(Wiz)