Redis-cluster:去中心化,中间件,集群中任意节点平等,任一节点可获得全局的数据

Redis-cluster 拓扑图:

架构演变及 cap 理论:

单机 Redis 属于 cp 模型。

Redis-cluster 属于 ap 模型

Redis-cluster 核心参数:

cluster-enabled yes
cluster-config-file nodes-6379.conf
cluster-node-timeout 50000(毫秒)
cluster-migration-barrier 1
cluster-require-full-coverage no
cluster-slave-validity-factor
(node-timeout * slave-validity-factor) + repl-ping-slave-period

Redis-cluster 数据分布:预分槽(slot)

预分配 16384(slot), 根据 crc16(key) mod 16384的值,决定key 存放在哪个 slot里。

预分槽的方案介于“硬Hash”和“一致性Hash”之间,牺牲了一定的灵活性,但相比“一致性Hash“,数据的管理成本大大降低

Redis-cluster M-S
Redis-cluster 采用 一主多从 
集群完整写的步骤:
1. client 写数据到 master
2. master 告知 client “ok”
3. master 同步数据到 slave
存在风险:
第二步骤成功后, mater crash,照常主从数据不一致

Redis-cluster 解决了 我们什么问题?
以前:
1.  redis cpu 使用率>80%, 拆分redis实例,修改代码,指向新的redis实例。
2   redis 内存使用超过标准,继续拆分实例!
3   redis 流量增长,拆!
4.  单实例的高可用问题。
现在:
只需要 分配一组新的redis实例 加入 cluster, 迁移 slot  即可解决 资源 使用率问题。

Redis-cluster缺点:
1.  无法查看 几号 slot 里 存有什么类型的keys,只能查看实例里存有多少slot 号。
2.  当 redis-cluster  中 一组节点全部挂掉,  将 丢失 指向 已经挂掉节点的 keys。 (根据 crc16算法)

Redis-cluster 无法处理的问题:
A.   在遇到 被爬虫,强刷部分模块, 容易出现 redis 线程上涨,堵塞 响应请求, 其根因是  存储的redis key不合 理. 
B.  部分hash key 存的过大,单个key里 存储数据 超过1W。降低 redis 响应时间。
C.   程序逻辑问题, 导致 redis 实列 频繁刷新 部分业务key.
D.   程序设计漏洞。

cluster经典架构

节点:

节点(Node)

一个集群由一个或多个节点组成,其中主节点(master)负责储存键值对数据,而从节点(slave)则负责复制主节点。

注意:从节点不提供任何读写操作

分片:

分片(Sharding)

集群将整个数据库分为16384(2 的 14 次方)个槽(slot)

每个主节点可以负责处理0 个至 16384 个槽

注意:集群只有在所有槽位均有主节点处理时,才能进入上线状态并处理数据命令

槽位计算方式

命令执行:

槽位正确与槽位不正确

槽位正确:命令处理的键所在的槽,正好由接收命令的节点负责

槽位不正确:接收命令的节点并不包含键所在的槽位

槽位正确:

槽位不正确:

键 date 所在的槽 2022 并非由节点 7001 负责,7001向客户端返回Redirection。

客户端根据Redirection的指引,转向至节点 7000,并重新发送命令。

Redirection的实现

Gossip协议内部通信

Redirection的实现之槽表(Slot table)

节点在接收到命令请求时,会通过槽表检查键所在的槽是否由本节点处理:

如果是的话,那么节点直接执行命令;

如果不是的话,那么节点就从槽表里面提取出正确节点的地址信息,然后返回客户端转向错误。

Failover

集群中三个负责处理命令的主节点标记7000出现SDOWN

Redis多机常用架构-cluster的更多相关文章

  1. Redis多机常用架构-主从

    本文内容摘录自同事Perry Zhang的讲解,如需转载须本人同意. 1.主从 命令:slaveof <IP><PORT> redis主从配置:redis支持master-sl ...

  2. Redis多机常用架构-sentinel

    哨兵经典架构 sentinel结构 哨兵工作原理 Sentinel 通过配置文件发现Master,如下: Sentinel 通过向Master发送 INFO 命令来自动获得所有Slave的地址 跟Ma ...

  3. Kubernetes 在生产环境中常用架构

    Kubernetes 在生产环境中常用架构 首先,我们来梳理下Kubernetes生产架构,其设计适用于绝大多数环境.如下图所示 在该架构中,我们可以将其分为四层,如下: Client层:即Kuber ...

  4. redis集群主流架构方案分析

    Redis在互联网大数据平台有着广泛的应用,主要被用来缓存热点数据,避免海量请求压垮数据库,同时可以提升服务节点的响应速度和并发量.随着数据量的增多,由于redis是占用单台物理机或虚机的内存,内存资 ...

  5. Redis|Sentinel 高可用架构

    一 前言 Redis-Sentinel是Redis官方推荐的高可用性(HA)解决方案,当用Redis做Master-slave的高可用方案时,假如master宕机了,Redis本身(包括它的很多客户端 ...

  6. Redis Sentinel高可用架构

    Redis目前高可用的架构非常多,比如keepalived+redis,redis cluster,twemproxy,codis,这些架构各有优劣,今天暂且不说这些架构,今天主要说说redis se ...

  7. Redis多机功能介绍

    Redis多机功能目的:以单台Redis服务器过渡到多台Redis服务器 Redis单机在生产环境中存在的问题 1.内存容量不足 Redis使用内存来存书数据库中的数据,但是对于一台机器来说,硬件的内 ...

  8. redis 介绍和常用命令

    redis 介绍和常用命令 redis简介 Redis 是一款开源的,基于 BSD 许可的,高级键值 (key-value) 缓存 (cache) 和存储 (store) 系统.由于 Redis 的键 ...

  9. 数据库之redis篇(2)—— redis配置文件,常用命令,性能测试工具

    redis配置 如果你是找网上的其他教程来完成以上操作的话,相信你见过有的启动命令是这样的: 启动命令带了这个参数:redis.windows.conf,由于我测试环境是windows平台,所以是这个 ...

随机推荐

  1. 关于tp.5.0角色管理导致的创建角色登陆报错问题解决!

    今天用tp 5.0的时候,遇到一个问题,就是在利用超级管理员创建管理员角色时,角色账号密码登陆报错的问题 解决方法如下 htaccess文件修改如下 <IfModule mod_rewrite. ...

  2. Exception Type & Exception Code

    1.Exception Type 1)EXC_BAD_ACCESS 此类型的Excpetion是我们最长碰到的Crash,通常用于访问了不改访问的内存导致.一般EXC_BAD_ACCESS后面的&qu ...

  3. Tomcat启动时项目重复加载,导致资源初始化两次的问题

    http://blog.csdn.net/testcs_dn/article/details/38855641

  4. spring mvc 4.3.2 + mybatis 3.4.1 + mysql 5.7.14 +shiro 幼儿园收费系统 之 消息管理

  5. [学习笔记]JS中闭包的理解

    一.闭包概念的理解 闭包,又称为词法闭包或函数闭包指引用了自由变量的函数.这个被引用的自由变量将和这个函数一同存在,即使已经离开了创造它的环境也不例外. 自由变量:该变量既不是函数本身定义的也不是函数 ...

  6. 关于AFNetworking菊花转圈圈的问题

    刚开始接触AFN的时候,发现菊花老是不转,百度到大神的博客上,说AFN里面的API的网络加载菊花默认是关闭的(才发现默认情况下AFN的转圈圈的菊花是关闭的)需要手动打开才能够显示转圈圈,打开的方法是: ...

  7. git 创建远程分支和删除 master 分支

    . . . . . 最近需要将不同的客户的代码分开管理,所以需要为这些代码分别创建分支. 目前版本库中分支结构如下: [yuhuashi@local:Project]$ git branch -a* ...

  8. 启动WCF多个服务方法

    引用就不说明,直接贴上: using System;using System.Collections.Generic;using System.Linq;using System.Text;using ...

  9. java.lang.OutOfMemoryError: Java heap space的解决方法

    windows->preferences->Java->Installed JRES->edit->Default VM Arguments添加-Xms256m -Xmx ...

  10. ArcEngine编辑保存错误:Unable to create logfile system tables

    通过ArcEngine对多个SDE中多个图层进行批量编辑处理,其中有部分图层在结束编辑的时候出现错误提示(部分图层可以,只有两个数据较多的图层保存失败). 错误信息:Unable to create ...