在之前学习了Master-Slave、Sentinel模式,但是在某些情况下还是无法满足系统对QPS等要求,这时候就需要Cluster,Redis3.0支持了cluster

一、为什么使用Cluster

1、并发量

  官方说明Redis支持10W条命令/秒,这已经很牛逼了,但是有些业务场景需要100W条命令/秒,当然这可能是一线互联网公司的场景

2、数据量

  Master-Slave模式下内存、网络流量(网卡)无法满足要求

二、数据分区

  我们使用cluster,有一个很重要的原因就是数据量过大,这种时候就要考虑数据分区了

1、顺序分布:数据倾斜

2、hash分布:通过hash函数进行分区,hash分布有很多实现方式,常见的有一下两种

  1).节点取余:通过hash和取余,比较简单,当进行节点扩容/伸缩的时候,数据迁移率80%,最好是进行翻倍扩容,数据迁移率50%

   

  2).一致性hash

  将数据看做一个token环,范围0~2^32,对key进行hash计算,例如落到n1-n2之间,就会顺时针找离自己最近的节点,最终落到n2节点

2.1).扩容:

  新增节点n5,只会影响hash落到n1-n5之间的数据,之前这些数据最终落到n2节点,但是现在找到n5节点,是无法找到的,还是存在数据迁移,

如果现在有1000个节点,新增节点时,影响的范围很小1/1000,所以一致性hash适合节点比较多的情况

2.2).翻倍扩容:

  保证最小数据迁移和负载均衡(新增n5节点,如果数据分布不均衡,主要在n1--n2之间,还是有很大问题)

顺序分步和hash分布对比:

3、虚拟槽分区:Redis采用的分区方式

  1、预设虚拟槽:每个槽映射一个数据子集,一般比节点数大

  2、hash函数:例如CRC16

  3、Server管理节点、槽和数据之间的关系:例如Redis Cluster

虚拟槽分配:一共有16383个槽

流程:

  首先将key进行hash,然后和16383取余,发送给Redis Cluster任意一个node,每个node都会记录自己负责的slot,如果命中,保存在自己的

slot里面,如果没有命中,会返回应该是哪个node,直接去找就行了,因为node之间通过meet操作,自动进行感知,然后相互之间交换数据信息

三、Redis Cluster安装架构

两种安装方式:

  1、原生命令安装

  2、官方工具安装

为了理解结构,可以尝试原生命令安装

1、原生命令安装

启动六个node,默认三主三从,6379/6380/6381/6382/6383/6384

1、设置:

cluster-enabled:yes            就是使用集群模式启动

cluster-node-timeout 15000         节点超时时间15s

cluster-config-file nodes-${port}.conf   开启每个节点的配置

cluster-require-full-coverage no      要求所有节点都可用才对外提供Redis服务

启动:

redis-server redis-6379.conf

redis-server redis-6380.conf

redis-server redis-6381.conf

redis-server redis-6382.conf

redis-server redis-6383.conf

redis-server redis-6384.conf

2、meet操作:

流程:

  1、A对B进行meet操作,B返回pong

  2、B对C进行meet操作,C返回pong

  3、节点通过内部协议,自动进行节点的感知(),C也能了解到B,他们也是通的,都可以交换消息

命令:cluster meet ip port

例如:

redis-cli -h 127.0.0.1 -p 6379 meet 127.0.0.1 6380

redis-cli -h 127.0.0.1 -p 6379 meet 127.0.0.1 6381

redis-cli -h 127.0.0.1 -p 6379 meet 127.0.0.1 6382

redis-cli -h 127.0.0.1 -p 6379 meet 127.0.0.1 6383

redis-cli -h 127.0.0.1 -p 6379 meet 127.0.0.1 6384

3、指派槽

命令:cluster addslots slot[slot...]

例如:

redis-cli -h 127.0.0.1 -p 6379 cluster addslots {0...5461}

redis-cli -h 127.0.0.1 -p 6380 cluster addslots {5461...10922}

redis-cli -h 127.0.0.1 -p 6381 cluster addslots {10922...16383}

4、设置主从

命令:cluster replicate node-id

例如:

redis-cli -h 127.0.0.1 -p 6382 cluster replicate ${node-id-6379}

redis-cli -h 127.0.0.1 -p 6383 cluster replicate ${node-id-6380}

redis-cli -h 127.0.0.1 -p 6384 cluster replicate ${node-id-6381}

到此,集群已经建立完毕

5、特性

  1).主从复制

  2).高可用

  3).分片:多个主节点进行读写

未完待续。。。

Redis系列(十)--集群cluster的更多相关文章

  1. redis系列:集群

    1 简介 Redis 集群是Redis 的一个分布式实现,它是一个网状结构,每个节点都通过 TCP 连接跟其他每个节点连接.现在来看看Redis集群实现了哪些目标? 在1000个节点的时候仍能表现得很 ...

  2. redis单点、redis主从、redis哨兵sentinel,redis集群cluster配置搭建与使用

    目录 redis单点.redis主从.redis哨兵 sentinel,redis集群cluster配置搭建与使用 1 .redis 安装及配置 1.1 redis 单点 1.1.2 在命令窗口操作r ...

  3. Redis进阶实践之十 Redis主从复制的集群模式

    一.引言        Redis的基本数据类型,高级特性,与Lua脚本的整合等相关知识点都学完了,说是学完了,只是完成了当前的学习计划,在以后的时间还需继续深入研究和学习.从今天开始来讲一下有关Re ...

  4. Docker快速构建Redis集群(cluster)

    Docker快速构建Redis集群(cluster) 以所有redis实例运行在同一台宿主机上为例子 搭建步骤 redis集群目录清单 . ├── Dockerfile ├── make_master ...

  5. 面试连环炮系列(二):你们的项目Redis做了集群部署吗

    你们的项目Redis做了集群部署吗? 我们有大量数据需要缓存,而单实例的容量毕竟是有限的,于是做了Redis集群部署. 采取的方案是什么,Codis还是Redis Cluster,为什么要选择这个方案 ...

  6. redis集群cluster简单设置

    环境: 这里参考官方使用一台服务器:Centos 7  redis-5.0.4    192.168.10.10 redis集群cluster最少要3个主节点,所以本次需要创建6个实例:3个主节点,3 ...

  7. Redis 3.0 集群搭建

    Redis 3.0 集群搭建 开启两个虚拟机 分别在两个虚拟机上开启3个Redis实例 3主3从两个虚拟机里的实例互为主备 下面分别在两个虚拟机上安装,网络设置参照codis集群的前两个主机 分别关闭 ...

  8. Redis 3.0集群 Window搭建方案

    Redis 3.0集群 Window搭建方案 1.集群安装前准备 安装Ruby环境,安装:rubyinstaller-2.3.0-x64.exe http://dl.bintray.com/onecl ...

  9. Redis+Tomcat+Nginx集群实现Session共享,Tomcat Session共享

    Redis+Tomcat+Nginx集群实现Session共享,Tomcat Session共享 ============================= 蕃薯耀 2017年11月27日 http: ...

随机推荐

  1. Windows 驱动开发 - 7

    在<Windows 驱动开发 - 5>我们所说的读写操作在本篇实现. 在WDF中实现此功能主要为:EvtIoRead和EvtIoWrite. 首先,在EvtDeviceAdd设置以上两个回 ...

  2. PHP + Socket 发送http请求进而实现站点灌水

    本质上实现组装http信息的请求行,头信息.主题信息.參考it自学网 cookie信息和http请求头有非常大关系,注意把http请求头信息传递到函数里面 01-msg.php <?php re ...

  3. ZOJ 1806 (小数高精度)

    题意:八进制小数转化成十进制的小数. 0.d1d2d3 ... dk [8] = 0.D1D2D3 ... Dm [10] 例: 0.75 [8] = 7*8^-1+5*8^-2 = ( 5/8 + ...

  4. java poi excel导入模板设置下拉框

    import org.apache.poi.hssf.usermodel.DVConstraint; import org.apache.poi.hssf.usermodel.HSSFCell; im ...

  5. ADB无法启动

    一般就是5037端口被占用,各种手机助手鼓捣的 1.CMD下查看端口是否被占用 netstat -ano|findstr "5037" 截图不上了,我的是820进程,360手机助手 ...

  6. H264--2--语法及结构[5]

    名词解释 场和帧 :    视频的一场或一帧可用来产生一个编码图像.在电视中,为减少大面积闪烁现象,把一帧分成两个隔行的场. 片:             每个图象中,若干宏块被排列成片的形式.片分为 ...

  7. 洛谷 P2585 [ ZJOI 2006 ] 三色二叉树 —— 树形DP

    题目:https://www.luogu.org/problemnew/show/P2585 首先,三色其实记录两种状态:是绿色,不是绿色 即可,因为红蓝可以随意取反: 一开始因为懒得还原出树,所以写 ...

  8. URAL1553 Caves and Tunnels 树链剖分 动态树

    URAL1553 维护一棵树,随时修改某个节点的权值,询问(x,y)路径上权值最大的点. 树是静态的,不过套动态树也能过,时限卡的严就得上树链剖分了. 还是那句话 splay的核心是splay(x) ...

  9. HTTP方式播放FLV/mp4 :nginx+Yamdi/MP4BOX

    [导语]chrome浏览器确实很强,直接支持MP4拖动播放,对于其他播放器,可以使用以下方法来支持拖动播放.拖动的关键在于生成关键帧等元数据信息,便于服务器和播放器支持拖动. 另外,nginx web ...

  10. 15.extjs tabPanel的用法

    转自:https://blog.csdn.net/mezhaha/article/details/78878894 本文导读:TabPanel继承于Ext.Panel,Ext.TabPanel就是有选 ...