1 简单介绍 将内存作为首要存储介质不是什么新奇事儿,我们身边有非常多主存数据库(IMDB或MMDB)的样例.在对主存的使用上.内存数据网格(In Memory Data Grid,IMDG)与IMDB相似,但二者在架构上全然不同. IMDG特性能够总结为下面几点: Ø  数据是分布式存储在多台server上的. Ø  每台server都是active模式. Ø  数据模型一般是面向对象和非关系型的. Ø  依据须要.常常会增减server. 此外,IMDG与普通缓存系统也是不同的. 相同地,在…

开源IMDG通常都提供了SPI或其他接口,供用户自行扩展.以Hazelcast为例,我们可以用一些好玩的小工具增强其查询.Map和后端持久化的功能.这些小工具虽然看起来很小,但功能也非常强大. SQL查询 JoSQL非常简单易用,只需几步就可以在普通Java对象上实现SQL查询功能,而且对标准SQL支持的还很全面呢.同时也提供了接口,我们可以自定义想要的SQL函数. 它与Hazelcast的集成方法非常简单,就是新建一个Predicate子类.查询时使用我们新建的这个类,Hazelcast执行时…

作为另一款主流的开源数据网格产品,GridGain是Hazelcast的强有力竞争者.同样提供了社区版和商业版,近日GridGain的开源版本已经进入Apache孵化器项目Ignite(一款开源的内存计算(In-Memory Computing)IMC中间件),目前Apache正在迁移GridGain开源版本的代码到Ignite项目.鉴于经过之前Hazelcast的介绍已经对数据网格产品有了一定了解,本文着重介绍GridGain与Hazelcast差异化之处. 1 重叠功能列举 比较 Hazel…

1 第三方缓存插件 除了Ehcache这种轻量级的缓存方案外,几乎所有IMDG产品都提供了对Hibernate二级缓存的直接支持,常用的有: Ø  Hazelcast Ø  GridGain Ø  JBoss Infinispan Ø  Terracotta(额外提供了直接替换Session对象的集成方式) 2 缓存工作过程 下面以JVM集群Terracotta为例,首先从最原始的JDBC到Hibernate到开启Hibernate二级缓存,看一下应用对数据库请求的情况. 2.1 自动提交模式下…

陷阱 使用cache API时,一个最重要的问题就是潜在的数据加载.因为IMDG提供的分布式集合也都是实现的JDK的Map.Set等接口,以JDK的Map为例,它接口规定put和remove返回被替换的对象或删除掉的对象,所以这会导致我们操作缓存时导致与后端存储的通信.所以我们要调用其它版本的API,例如GridGain提供了putx等接口,其返回值是一个布尔值而非旧的对象. 问题 现今的IMDG虽然已经比较成熟,但仍有一些问题需要解决: Ø  冷启动问题:即便是能够并行还原,从后端数据库还原数…

1 简介 将内存作为首要存储介质不是什么新鲜事儿,我们身边有很多主存数据库(IMDB或MMDB)的例子.在对主存的使用上,内存数据网格(In Memory Data Grid,IMDG)与IMDB类似,但二者在架构上完全不同.IMDG特性可以总结为以下几点: Ø  数据是分布式存储在多台服务器上的. Ø  每台服务器都是active模式. Ø  数据模型通常是面向对象和非关系型的. Ø  根据需要,经常会增减服务器. 此外,IMDG与普通缓存系统也是不同的.同样地,在主存使用以及水平扩展上缓存系…

将内存作为首要存储介质不是什么新鲜事儿,在对主存的使用上,内存数据网格(In Memory Data Grid,IMDG)与IMDB类似,但二者在架构上完全不同.IMDG特性可以总结为以下几点: 数据是分布式存储在多台服务器上的. 每台服务器都是active模式. 数据模型通常是面向对象和非关系型的. 根据需要,经常会增减服务器. 换言之,IMDG将对象本身存储在内存中,并保证可扩展性.常见的商业以及开源产品如下: Hazelcast Terracotta Enterprise Suite VM…

NoSQL数据库笔谈 databases , appdir , node , paper颜开 , v0.2 , 2010.2 序 思想篇 CAP 最终一致性 变体 BASE 其他 I/O的五分钟法则 不要删除数据 RAM是硬盘,硬盘是磁带 Amdahl定律和Gustafson定律 万兆以太网 手段篇 一致性哈希 亚马逊的现状 算法的选择 Quorum NRW Vector clock Virtual node gossip Gossip (State Transfer Model) Gossip…

上一篇文章<ONOS高可用性和可扩展性实现初探>讲到了ONOS系统架构在高可用.可扩展方面技术概况,提到了系统在分布式集群中怎样保证数据的一致性.在数据终于一致性方面,ONOS採用了Gossip协议.这一部分的变化不大,而在强一致性方案的选择方面则在不断进行调整,其主要原因是分布式系统中强一致性对系统性能影响较大,并且现有的支持Paxos算法的实现不多. 本文承接上一篇提出的一个问题:ONOS为什么从開始使用ZooKeeper转到Hazelcast,而终于选择了Raft?是不是之前的选择导致系…

1.Redis Cluster总览 1.1 设计原则和初衷 在官方文档Cluster Spec中,作者详细介绍了Redis集群为什么要设计成现在的样子.最核心的目标有三个: 性能:这是Redis赖以生存的看家本领,增加集群功能后当然不能对性能产生太大影响,所以Redis采取了P2P而非Proxy方式.异步复制.客户端重定向等设计,而牺牲了部分的一致性.使用性. 水平扩展:集群的最重要能力当然是扩展,文档中称可以线性扩展到1000结点. 可用性:在Cluster推出之前,可用性要靠Sentinel…