Redis-集群 - 分片

Redis是一个基于内存的数据库，其不仅读写速度快，每秒可以执行大约110000的写操作，81000的读取操作，而且其支持存储字符串，哈希结构，链表，集合丰富的数据类型。所以得到很多开发者的青睐。加之其支持主从、持久化等功能，3.0版本开始正式提供分片技术、让其在大型互联网应用中大显身手

 

分片（parttitioning）就是将你的数据拆分到多个redis实例的过程，这样每个实例只包含所有键的子集，

 

分片的目的：

1、允许使用很多电脑内存综合来支持更大的数据库，没有分片你就被局限于单机能支持的内存容量

2、允许伸缩计算到多核和多服务器，伸缩网络带宽到多服务器或者多网络适配器

 

拓展

（

Redis采用的是基于内存的采用的是单进程单线程模型的KV数据库，由C语言编写。官方提供的数据是可以达到100000+的qps。这个数据不比采用单进程多线程的同样基于内存的KV数据库Memcached差。

Redis快的主要原因是：

1. 完全基于内存
2. 数据结构简单，对数据操作也简单
3. 使用多路 I/O 复用模型

单进程单线程好处

1. 代码更清晰，处理逻辑更简单
2. 不用去考虑各种锁的问题，不存在加锁释放锁操作，没有因为可能出现死锁而导致的性能消耗
3. 不存在多进程或者多线程导致的切换而消耗CPU

单进程单线程弊端

1. 无法发挥多核CPU性能，不过可以通过在单机开多个Redis实例来完善；

）

 

分片的基础

1、范围分片

2、哈希分片

 

分片的不同实现

1、客户端分片：客户端直接选择正确的节点来写入和读取指定键，许多Redis客户端实现了客户端的分析

2、代理协助分片：客户端发送一个请求到一个可以理解Redis协议的代理上，而不是直接发送请求到

Redis实例上，代理会根据配置好的分片模式，来保证转发我们的请求到正确的Redis实例，并返回给客户端，Redis和Memcached的代理Twemproxy实现了代理协助分片

3、查询路由分片：你可以发送你的查询到一个随机实例，这个实例会保证转发你的查询到正确的节点，Redis集群在客户端的帮助下，实现了查询路由的一种混合形式（请求不是直接从Redis实例转发到另一个，而是客户端收到重定向到正确的节点）。

4、在服务端进行分片即Redis官方集群分片方案 Redis Cluster

 

理论讲完，就来点干活

最近公司打算做redis集群分片，研究了下redis 自带的clutesr 功能真的很强大，唯一的不足之处就是当其中一个分片服务器挂掉的话整个集群就会宕机，处于系统不可用状态

官网分片方案，很不错但是要保证数据备份，做redis 灾备方案，会比较麻烦，而且需要很多台服务器，redis搭建cluster分片服务起需要针对每台分片搭建主从配置方案，实现自动切换从而解决相关问题，相关主从的配置还有需要搭建redis sentinel哨兵服务,导致整个集群变得越来越复杂维护成本越来越高，所以为了解决这个问题，就打算通过客户端分片的方式实现该功能，减少运维压力

一致性哈希算法实现redis的数据分片横向扩展

翻阅资料发现java 有现成的jredis客户端分片方案，C#比较悲哀只能自己实现，其实jedis实现实现分片方式是通过一致性哈希算法实现的集群分片，装模做样照搬实现方式，备份通过两次哈希键值达到备份的目的

那么什么是一致性哈希算法呢？网上有很多资料，我讲讲自己的简单理解

redis 是键值对数据存储的一种数据库，我们在存出数据的时候要将数据均匀的分布在多个服务器上面，并且在增加减少cache server后，cache的迁移做到最少。

那么一致性hash算法就是为了实现这个功能设计的

具体算法代码参见
https://git.oschina.net/hl.wei/RedisCluster.git
一致性哈希算法可以实现数据散列到均衡的服务器，能够最大限度的达到增减服务器的时候数据散列问题影响至最小。

实际应用中减少服务器添加，删除，造成的数据丢失问题，可以使用如下方案：
假如我们有 A，B，C 三台服务器，我们在三台服务器上面每天搭建三个redis 实例，等于创建了 有9台redis 实例，当我们添加新机器的时候就可以直接映射一台服务器到 其中一个实例，对该服务器数据进行迁移达到数据零误差完美迁移的目的。