Redis多机常用架构-cluster
Redis-cluster:去中心化,中间件,集群中任意节点平等,任一节点可获得全局的数据
Redis-cluster 拓扑图:
架构演变及 cap 理论:
单机 Redis 属于 cp 模型。
Redis-cluster 属于 ap 模型
Redis-cluster 核心参数:
cluster-enabled yes
cluster-config-file nodes-6379.conf
cluster-node-timeout 50000(毫秒)
cluster-migration-barrier 1
cluster-require-full-coverage no
cluster-slave-validity-factor
(node-timeout * slave-validity-factor) + repl-ping-slave-period
Redis-cluster 数据分布:预分槽(slot)
预分配 16384(slot), 根据 crc16(key) mod 16384的值,决定key 存放在哪个 slot里。
预分槽的方案介于“硬Hash”和“一致性Hash”之间,牺牲了一定的灵活性,但相比“一致性Hash“,数据的管理成本大大降低
Redis-cluster M-S
Redis-cluster 采用 一主多从
集群完整写的步骤:
1. client 写数据到 master
2. master 告知 client “ok”
3. master 同步数据到 slave
存在风险:
第二步骤成功后, mater crash,照常主从数据不一致
Redis-cluster 解决了 我们什么问题?
以前:
1. redis cpu 使用率>80%, 拆分redis实例,修改代码,指向新的redis实例。
2 redis 内存使用超过标准,继续拆分实例!
3 redis 流量增长,拆!
4. 单实例的高可用问题。
现在:
只需要 分配一组新的redis实例 加入 cluster, 迁移 slot 即可解决 资源 使用率问题。
Redis-cluster缺点:
1. 无法查看 几号 slot 里 存有什么类型的keys,只能查看实例里存有多少slot 号。
2. 当 redis-cluster 中 一组节点全部挂掉, 将 丢失 指向 已经挂掉节点的 keys。 (根据 crc16算法)
Redis-cluster 无法处理的问题:
A. 在遇到 被爬虫,强刷部分模块, 容易出现 redis 线程上涨,堵塞 响应请求, 其根因是 存储的redis key不合 理.
B. 部分hash key 存的过大,单个key里 存储数据 超过1W。降低 redis 响应时间。
C. 程序逻辑问题, 导致 redis 实列 频繁刷新 部分业务key.
D. 程序设计漏洞。
cluster经典架构
节点:
节点(Node)
一个集群由一个或多个节点组成,其中主节点(master)负责储存键值对数据,而从节点(slave)则负责复制主节点。
注意:从节点不提供任何读写操作
分片:
分片(Sharding)
集群将整个数据库分为16384(2 的 14 次方)个槽(slot)
每个主节点可以负责处理0 个至 16384 个槽
注意:集群只有在所有槽位均有主节点处理时,才能进入上线状态并处理数据命令
槽位计算方式
命令执行:
槽位正确与槽位不正确
槽位正确:命令处理的键所在的槽,正好由接收命令的节点负责
槽位不正确:接收命令的节点并不包含键所在的槽位
槽位正确:
槽位不正确:
键 date 所在的槽 2022 并非由节点 7001 负责,7001向客户端返回Redirection。
客户端根据Redirection的指引,转向至节点 7000,并重新发送命令。
Redirection的实现
Gossip协议内部通信
Redirection的实现之槽表(Slot table)
节点在接收到命令请求时,会通过槽表检查键所在的槽是否由本节点处理:
如果是的话,那么节点直接执行命令;
如果不是的话,那么节点就从槽表里面提取出正确节点的地址信息,然后返回客户端转向错误。
Failover
集群中三个负责处理命令的主节点标记7000出现SDOWN
Redis多机常用架构-cluster的更多相关文章
- Redis多机常用架构-主从
本文内容摘录自同事Perry Zhang的讲解,如需转载须本人同意. 1.主从 命令:slaveof <IP><PORT> redis主从配置:redis支持master-sl ...
- Redis多机常用架构-sentinel
哨兵经典架构 sentinel结构 哨兵工作原理 Sentinel 通过配置文件发现Master,如下: Sentinel 通过向Master发送 INFO 命令来自动获得所有Slave的地址 跟Ma ...
- Kubernetes 在生产环境中常用架构
Kubernetes 在生产环境中常用架构 首先,我们来梳理下Kubernetes生产架构,其设计适用于绝大多数环境.如下图所示 在该架构中,我们可以将其分为四层,如下: Client层:即Kuber ...
- redis集群主流架构方案分析
Redis在互联网大数据平台有着广泛的应用,主要被用来缓存热点数据,避免海量请求压垮数据库,同时可以提升服务节点的响应速度和并发量.随着数据量的增多,由于redis是占用单台物理机或虚机的内存,内存资 ...
- Redis|Sentinel 高可用架构
一 前言 Redis-Sentinel是Redis官方推荐的高可用性(HA)解决方案,当用Redis做Master-slave的高可用方案时,假如master宕机了,Redis本身(包括它的很多客户端 ...
- Redis Sentinel高可用架构
Redis目前高可用的架构非常多,比如keepalived+redis,redis cluster,twemproxy,codis,这些架构各有优劣,今天暂且不说这些架构,今天主要说说redis se ...
- Redis多机功能介绍
Redis多机功能目的:以单台Redis服务器过渡到多台Redis服务器 Redis单机在生产环境中存在的问题 1.内存容量不足 Redis使用内存来存书数据库中的数据,但是对于一台机器来说,硬件的内 ...
- redis 介绍和常用命令
redis 介绍和常用命令 redis简介 Redis 是一款开源的,基于 BSD 许可的,高级键值 (key-value) 缓存 (cache) 和存储 (store) 系统.由于 Redis 的键 ...
- 数据库之redis篇(2)—— redis配置文件,常用命令,性能测试工具
redis配置 如果你是找网上的其他教程来完成以上操作的话,相信你见过有的启动命令是这样的: 启动命令带了这个参数:redis.windows.conf,由于我测试环境是windows平台,所以是这个 ...
随机推荐
- 关于tp.5.0角色管理导致的创建角色登陆报错问题解决!
今天用tp 5.0的时候,遇到一个问题,就是在利用超级管理员创建管理员角色时,角色账号密码登陆报错的问题 解决方法如下 htaccess文件修改如下 <IfModule mod_rewrite. ...
- Exception Type & Exception Code
1.Exception Type 1)EXC_BAD_ACCESS 此类型的Excpetion是我们最长碰到的Crash,通常用于访问了不改访问的内存导致.一般EXC_BAD_ACCESS后面的&qu ...
- Tomcat启动时项目重复加载,导致资源初始化两次的问题
http://blog.csdn.net/testcs_dn/article/details/38855641
- spring mvc 4.3.2 + mybatis 3.4.1 + mysql 5.7.14 +shiro 幼儿园收费系统 之 消息管理
- [学习笔记]JS中闭包的理解
一.闭包概念的理解 闭包,又称为词法闭包或函数闭包指引用了自由变量的函数.这个被引用的自由变量将和这个函数一同存在,即使已经离开了创造它的环境也不例外. 自由变量:该变量既不是函数本身定义的也不是函数 ...
- 关于AFNetworking菊花转圈圈的问题
刚开始接触AFN的时候,发现菊花老是不转,百度到大神的博客上,说AFN里面的API的网络加载菊花默认是关闭的(才发现默认情况下AFN的转圈圈的菊花是关闭的)需要手动打开才能够显示转圈圈,打开的方法是: ...
- git 创建远程分支和删除 master 分支
. . . . . 最近需要将不同的客户的代码分开管理,所以需要为这些代码分别创建分支. 目前版本库中分支结构如下: [yuhuashi@local:Project]$ git branch -a* ...
- 启动WCF多个服务方法
引用就不说明,直接贴上: using System;using System.Collections.Generic;using System.Linq;using System.Text;using ...
- java.lang.OutOfMemoryError: Java heap space的解决方法
windows->preferences->Java->Installed JRES->edit->Default VM Arguments添加-Xms256m -Xmx ...
- ArcEngine编辑保存错误:Unable to create logfile system tables
通过ArcEngine对多个SDE中多个图层进行批量编辑处理,其中有部分图层在结束编辑的时候出现错误提示(部分图层可以,只有两个数据较多的图层保存失败). 错误信息:Unable to create ...