disgear是笔者参考solrcloud架构基于redis实现的分布式的缓存,支持数据切分到多台机器上,支持HA,支持读写分离和主节点失效自动选举,目前把它开放到github上,开放给大家

github:https://github.com/yangbutao/disgear

总体设计

1. 系统需求

1) 性能

内存操作,读写性能要求比较高

2) 数据量

支持数据切分,分为多个Shard,每个shard负责一定范围的数据

3) 伸缩性

当单个节点的数据量比较大的时,可以对该节点进行数据切分,分离成两部分,增加新的机器即可。

4) 可用性

系统不存在单点问题,缓存节点支持HA,master节点宕掉后,自动选举一个slave为主节点,对客户端透明

2. 设计说明

首先启动好所有的redis实例,每个redis实例有一个agent负责监控,agent ping redis实例的状态,agent 连接到zookeeper上创建/collections/collection1/leader_elect/shard1/election下的节点,监控比它小的节点,变化时更新leader节点。

当agent连接zookeeper超时或者agent ping redis实例超时,会删除zookeeper上的election下的节点(agent ping redis超时,调用zookeeper api删除节点)。

当ping到redis节点起来后,若检查到zookeeper上没有对应节点,则创建相应节点。

Leader(master)是缓存负责响应的节点,replica(slave)只负责同步leader的数据,当leader宕机后,提升replica为主节点。

以下是zookeeper上节点的相关说明:

/collections

|----collection1

|----leader_elect

----shard1[0-7ffffffff]      //节点启动时,一共需要分几个 分区,需要声明该节点属于哪个shard

---election         //参与选举的节点列表,竞争成为leader节   点,并更新leaders节点列表和clusterstate.json节点内容,并调用脚 本 更改redis的master slave配置

----10.1.1.21

----10.1.1.22

----shard2

---eclection

---10.1.1.23

---10.1.1.24

|---leaders

----shard1              //当前shard的leader节点

---10.1.1.21

-----shard2

----10.1.1.24

/observer                //负责watch collections中节点的变化,

由leader节点更新 clusterstate.json节点的内容,observer节点需要在系统初始 化过程中最新选举出leader节点,做watch collections下的 节点的变化。

|---election          //其下是供选择的节点

|----leader           //这样一个好处是每个client节点无需对多个zookeeper的节点监控计算,由单独的节点对这些变化的节点做监控, 来更新集群状态,这样每个client只需要 watch 集群状态 内容zookeeper节点即可。

/live_nodes

|---10.1.1.21

|----10.1.1.22

|----10.1.1.23

|-----10.1.1.24

/clusterstate.json                      //集群状态,当有节点变化时,更新这个节点 内容,每个client端监听该节点内容的变化, 缓存在本地cache中。

相关内容如下:

{collection1={

"shards":{

"shard1":{

"range":"80000000-ffffffff",

“leader”:node1,

"replicas":{

"node1":{

"state":"alive",         "node_name":"192.168.1.21:8983"},

"node2":{

"state":"alive",

"node_name":"192.168.1.22:8983"

}}},

"shard2":{

"range":"0-7fffffff",

"state":"active",

“leader”:node3,

"replicas":{

"node3":{

"node_name":"192.168.1.23:8983"},

"core_node4":{

"node_name":"192.168.1.24:8983"

}}},

模块设计说明

1. 数据切分、节点扩容、key hash

对于数据切分,数据的范围取Integer.MIN_VALUE, Integer.MAX_VALUE,首次初始化时,根据规划的Shard的数量,平均进行切分,每个Shard负责一个固定的数据范围,比如Shard1[0-7fffffff],这些Shard和数据的范围会持久化到zookeeper节点上,以便于集群重启后,从zookeeper本地拉起Shard划分和数据范围的相关数据,如下图所示。

/collections

|----collection1

|----leader_elect

----shard1[0-7ffffffff]

----shard2[800000-9ffffffff]

当需要扩容缓存节点时,管理员可以对Shard进行split操作,生成两个新的Shard,每个Shard负责一部分数据,注册在zooleeper上的/collections/collection1/leader_elect节点下。比如Shard1[0-7ffffffff]经过split操作后,变成Shard1_1[0-3ffffffff]和Shard1_2[400000-7fffffffff]。

/collections

|----collection1

|----leader_elect

----shard1[0-7ffffffff]

----shard2[800000-9ffffffff]

----shard1_1[0-3ffffffff]

----shard1_2[0-3ffffffff]

新的节点加入到新的Shard分区中,完成leader选举等一系列操作后,更新集群拓扑状态,并删除老的Shard分区,这样新的Shard就处于可用状态。

对于key的hash定位,采用murmurhash3_x86_32 算法,效率比较高,然后判断该hash值落在哪个shard的数据范围内,进行数据的分区定位。

2. 缓存代理Agent

Agent作为缓存节点的代理,一方面和zookeeper进行通信,把缓存节点的状态通知给zookeeper,另外一方面对redis缓存节点做管理和监控。

1) Agent检测redis节点是否存活:

需要在Agent中调用以下脚本(monitor_redis.sh),把返回的结果,通知给zookeeper

ALIVE=$(/opt/cache/redis-2.6.16/src/redis-cli -h 10.1.1.25 -p 6379 -a 123 PING)

echo $ALIVE

2) 变更为master节点

当节点上的agent在zookeeper上成为leader节点时,需要通知agent把它代理的redis变更为master节点,agent调用以下脚本。

主节点的脚本(redis_master.sh):

#!/bin/bash

/opt/cache/redis-2.6.16/src/redis-cli -h 10.1.1.26 -p 6379 slaveof NO ONE

3) 变更为slave节点

当节点上的agent在zookeeper上成为replica节点时,需要通知agent把它代理的redis变更为slave节点,agent调用以下脚本。

slave节点脚本(redis_slaves.sh):

#!/bin/bash

/opt/cache/redis-2.6.16/src/redis-cli -h 10.1.1.26 -p 6379 slaveof 10.1.1.25 6379

3. 集群状态观察者Observer

Observer负责对整个集群collection下的Shard节点的变动进行监听,更新zookeeper上的集群状态节点cloudstate.json。

Agent节点在启动过程中,首选要做的就是Observer的选举。

Observer需要由zookeeper选举出来后,监听collections下节点的变化,若有变化则进行处理process,计算的结果设置到zookeeper的cloudstate.json节点。

当cloudstate.json节点数据变化时,负责监听该节点的所有客户端都更新本地客户端内存。

/observer

|---election

----10.1.1.21

----10.1.1.22

-----10.1.1.23

|----leader

-----10.1.1.22

4. Shard leader选举

Shard节点在zookeeper上创建完成后,缓存节点在启动的过程中,需要通过命令行-D参数或者配置文件的形式加入到集群中的某一个Shard分区下,参与leader的选举,具体实现是为每个节点生成一个数字,每个节点只需要监控比自己小的节点即可,如有变化,则进行通知,并使得数字最小的节点成为leader节点。

/collections

|----collection1

|----leader_elect

----shard1               //节点启动时,一共需要分几个分区,需要 声明该节点属于哪个shard

---eclection         //参与选举的节点列表,竞争成为leader节   点,并更新leaders节点列表和clusterstate.json节点内容,并调用脚 本 更改redis的master slave配置

----10.1.1.21

----10.1.1.22

----shard2

---eclection

---10.1.1.23

---10.1.1.24

|---leaders

----shard1              //当前shard的leader节点

---10.1.1.21

-----shard2

----10.1.1.24

5. 缓存节点的扩容

当某shard的访问压力过大或者数据量比较大时候,节点的扩展有两种方式,

一种是增加shard中的节点数量,提高读的能力,这种方式已经实现;

另外一种方式对压力大的shard做split的操作,一个shard分割为两个shard,提高shard的写数据的能力,这种节点的扩展方式目前还不支持,已纳入到后续的计划中。

使用说明

Agent的启动脚本:

MAIN="com.newcosoft.cache.agent.AgentMain"
$JAVA $JAVA_OPTS  -cp "$CLASSPATH" $JVMFLAGS $MAIN  -Dcol=col1 -Dshard=shard1 -Dnode=node25 \
  -DbaseUrl=10.1.1.25:6379 -DscriptPath=/opt/lsmp -DshardNum=3 -Dzk_url=10.1.1.25:2181

其中-Dcol表示当前创建的collection名称,对于redis来讲,代表要存储库的逻辑名称

-Dshard表示当前的节点的shard名称

-Dnode表示当前节点的逻辑名称

-DbaseUrl表示redis的主机IP和端口号

-DscriptPath表示redis监控和操作相关的脚本的路径,脚本有monitor_redis.sh、redis_master.sh、redis_slaves.sh

-DshardNum表示当前collection中的shard数目

-Dzk_url代表zookeeper集群的地址

Client端的使用:

在使用disgear的client端启动初始化中,引用disgear相关的jar,并调用

com.newcosoft.client.ClusterStateCacheManager.INSTANCE=new ClusterStateCacheManager(zkUrl);

ClusterStateCacheManager.INSTANCE.createClusterStateWatcher();

创建clusterState的监听器。

这样后续通过com.newcosoft.client.ClusterStateCacheManager.INSTANCE.getClusterState()就可以获得当前集群的节点状态,

进而选择合适的节点进行分发数据存取请求。

基于redis的分布式缓存disgear开源到github上了的更多相关文章

  1. 基于Redis的分布式锁到底安全吗(上)?

    基于Redis的分布式锁到底安全吗(上)?  2017-02-11 网上有关Redis分布式锁的文章可谓多如牛毛了,不信的话你可以拿关键词“Redis 分布式锁”随便到哪个搜索引擎上去搜索一下就知道了 ...

  2. 基于redis的分布式锁

    <?php /** * 基于redis的分布式锁 * * 参考开源代码: * http://nleach.com/post/31299575840/redis-mutex-in-php * * ...

  3. 基于Redis的分布式锁到底安全吗(下)?

    2017-02-24 自从我写完这个话题的上半部分之后,就感觉头脑中出现了许多细小的声音,久久挥之不去.它们就像是在为了一些鸡毛蒜皮的小事而相互争吵个不停.的确,有关分布式的话题就是这样,琐碎异常,而 ...

  4. 基于Redis的分布式锁安全性分析-转

    基于Redis的分布式锁到底安全吗(上)?  2017-02-11 网上有关Redis分布式锁的文章可谓多如牛毛了,不信的话你可以拿关键词“Redis 分布式锁”随便到哪个搜索引擎上去搜索一下就知道了 ...

  5. 基于Redis的分布式锁和Redlock算法

    1 前言 前面写了4篇Redis底层实现和工程架构相关文章,感兴趣的读者可以回顾一下: Redis面试热点之底层实现篇-1 Redis面试热点之底层实现篇-2 Redis面试热点之工程架构篇-1 Re ...

  6. 身为一枚优秀的程序员必备的基于Redis的分布式锁和Redlock算法

    1 前言 今天开始来和大家一起学习一下Redis实际应用篇,会写几个Redis的常见应用. 在我看来Redis最为典型的应用就是作为分布式缓存系统,其他的一些应用本质上并不是杀手锏功能,是基于Redi ...

  7. Redis-基本概念、java操作redis、springboot整合redis,分布式缓存,分布式session管理等

    NoSQL的引言 Redis数据库相关指令 Redis持久化相关机制 SpringBoot操作Redis Redis分布式缓存实现 Resis中主从复制架构和哨兵机制 Redis集群搭建 Redis实 ...

  8. 基于 redis 的分布式锁实现 Distributed locks with Redis debug 排查错误

    小结: 1. 锁的实现方式,按照应用的实现架构,可能会有以下几种类型: 如果处理程序是单进程多线程的,在 python下,就可以使用 threading 模块的 Lock 对象来限制对共享变量的同步访 ...

  9. Spring+Shiro搭建基于Redis的分布式权限系统(有实例)

    摘要: 简单介绍使用Spring+Shiro搭建基于Redis的分布式权限系统. 这篇主要介绍Shiro如何与redis结合搭建分布式权限系统,至于如何使用和配置Shiro就不多说了.完整实例下载地址 ...

随机推荐

  1. Integer判断相等,到底该用==还是equals

    在项目中涉及到整数判断的时候一直都是使用"=="进行判断的,但是用的时候心里老是在犯嘀咕,是不是应该使用equals呀?今天来看下这个问题! 在Object类中,equals方法的 ...

  2. JavaScript:避免代码的重复执行

    我喜欢到一些大型网站上去翻阅它们的原代码,期望能找到一些可以应用到自己的代码中的模式,或发现一些之前从未听说过的工具和技巧.可是,在我查看这些大型网站的源代码时,经常会发现一个问题,那就是重复的代码执 ...

  3. IE6支持min-width、max-width CSS样式属性

    1.IE6支持max-width解决方法 IE6支持最大宽度,解决CSS代码: .yangshi{ max-width:1000px; _width:expression((document.docu ...

  4. php 中array_multisort排序,类似于对数据库中的记录依次按多列进行排序

    array_multisort这个函数还是很有用的. ------------------------------------------------------------------------- ...

  5. Vim的使用 区域选择

    1.Visual Block 区域选择,这里的Visual表示视觉,图像,可视化. 2.    小写v:字符选择     shift+v(大写V):行选择               ctrl+v:矩 ...

  6. C#基础视频教程3.3 常见控件类型和使用方法

    前面介绍了微软的控件,也介绍了几个第三方控件,那么这些控件是如何做出来的?即便我们自己不做控件,也至少要理解控件的原理. 如果要创建一个自定义控件,首先新建一个C#下面的Windows窗体控件库   ...

  7. 论文笔记《Feedforward semantic segmentation with zoom-out features》

    [论文信息] <Feedforward semantic segmentation with zoom-out features> CVPR 2015 superpixel-level,f ...

  8. OpenERP Web Client设置闲置有效时间

    在Web Client端使用OpenERP时,默认的cookie有效时间是浏览器的当前作业窗口,这样就是说只要你不关闭浏览器,不管闲置多长时间,当前的连线都是有效的.这样就会有安全问题,如果你忘了登出 ...

  9. JDBC 滚动和分页

    public class ScrollTest {     /**      * @param args      * @throws SQLException      */     public ...

  10. STS(Spring Tool Suite)使用maven添加jar包

    打开:http://mvnrepository.com/ 搜索:hibernate 或者:http://search.maven.org 搜索:hibernate-core 两种方式都可以添加jar包 ...