13.5 一致性 在NoSQL中,通常有两个层次的一致性:第一种是强一致性,既集群中的所有机器状态同步保持一致.第二种是最终一致性,既可以允许短暂的数据不一致,但数据最终会保持一致.我们先来讲一下,在分布式集群中,为什么最终一致性通常是更合理的选择,然后再来讨论两种一致性的具体实现结节. 13.5.1 关于CAP理论 分区容忍性(P):集群中的某些节点在无法联系后,集群整体是否还能继续进行服务. 而CAP理论就是说在分布式存储系统中,最多只能实现上面的两点.而由于当前的网络硬件肯定会出现延迟丢包…

简单介绍下集群数据同步,集群监控用到的两种常见算法. Raft算法 raft 集群中的每个节点都可以根据集群运行的情况在三种状态间切换:follower, candidate 与 leader.leader 向 follower 同步日志,follower 只从 leader 处获取日志.在节点初始启动时,节点的 raft 状态机将处于 follower 状态并被设定一个 election timeout,如果在这一时间周期内没有收到来自 leader 的 heartbeat,节点将发起选举:节…

昨天的文章写了关于分布式系统中一致性哈希算法的问题,文末提了一下Redis-Cluster对于一致性哈希算法的实现方案,今天来看一下Redis-Cluster和其中的重要概念Gossip协议. 1.Redis Cluster的基本概念 集群版的Redis听起来很高大上,确实相比单实例一主一从或者一主多从模式来说复杂了许多,互联网的架构总是随着业务的发展不断演进的. 单实例Redis架构 最开始的一主N从加上读写分离,Redis作为缓存单实例貌似也还不错,并且有Sentinel哨兵机制,可以实现主…

转自:http://www.letiantian.me/2014-06-16-dynamo-algorithm-protocol/ Dynamo是Amazon的一个分布式的键值系统,P2P架构,没有主从的概念,数据一致性做到了最终一致.Apache Cassandra参考了它的实现方法. 一致性哈希 关于一致性哈希的具体内容,可以参考一致性哈希. 容错 由于一致性哈希的使用,Dynamo集群中的节点在逻辑上可以认为是一个圆环.假设有M个节点,我们从某个节点开始顺时针地依次为每个节点标号为1.2.…

转自:http://blog.jqian.net/post/dynamo.html Dynamo是Amazon开发的一款高可用的分布式KV系统,已经在Amazon商店的后端存储有很成熟的应用.它的特点:总是可写(500+ per sec, 99.9% <300ms),并且可以根据需求优化配置(调整RWN模型). 根据CAP原则 (Consistency, Availability, Partition tolerance),Dynamo是一个AP系统,只保证最终一致性. Dynamo的三个主要概…

Gossip算法因为Cassandra而名声大噪,Gossip看似简单,但要真正弄清楚其本质远没看起来那么容易.为了寻求Gossip的本质,下面的内容主要参考Gossip的原始论文:<<Efficient Reconciliation and Flow Control for Anti-Entropy Protocols>>. 1. Gossip背景 Gossip算法如其名,灵感来自办公室八卦,只要一个人八卦一下,在有限的时间内所有的人都会知道该八卦的信息,这种方式也与病毒传播类似…

Riak 是以 Erlang 编写的一个高度可扩展的分布式数据存储,Riak的实现是基于Amazon的Dynamo论文,Riak的设计目标之一就是高可用.Riak支持多节点构建的系统,每次读写请求不需要集群内所有节点参与也能胜任.像这样的系统,我们需要版本机制来确定哪个值是最新的.所以就引入了向量时钟(Vector Clock) 当存储一个对象到Riak时,都被打上向量时钟标签.通过向量空间祖先继承的关系比较,Riak可以自动的修复不同步的值,使数据保持最终一致性. 向量时钟的作用 有个比较经典…

参考文档:http://www.datastax.com/documentation/cassandra/1.2/webhelp/index.html#cassandra/architecture/architectureGossipAbout_c.html#concept_ds_elb_tgd_fk 一.什么是gossip Cassandra使用一个名为gossip的协议去获得集群中其他节点的位置和状态信息.Gossip是一个点对点的通信协议,在这个协议中,节点之间定期交换状态信息.Gossi…

Gossip是一种去中心化.容错并保证最终一致性的协议. Background:分布式环境 Gossip是为了解决分布式遇到的问题而设计的.由于服务和数据分布在不同的机器上,节点之间的每次交互都伴随着网络延迟.网络故障等的性能问题.可见,分布式系统会比单机系统遇到更多的难题. 如CAP理论 所描述的,CAP三个因素在分布式的条件下只能满足两个.对于分布式系统来说,分区容忍性是其的基本要求.因为分布式系统的设计初衷就是利用集群多集的能力去处理单机无法解决的问题.分区容忍性(可扩展性)通过通过sca…

Hyperledger gossip   本文记述了Hyperledger Fabric 中 一种网络数据同步协议--gossip,它的主要作用是致力于账本数据的安全传输,保证不同节点之间状态的同步和完整.   在fabric的网络中gossip的message是持续存在的,一个peer节点会不断.实时的接收到来自同一channel其他peers的账本数据.每一个gossip message都携带发送方的签名信息,这可以使得接受方轻易的辨别对方的身份和校验消息的完整性和合法性.当一个peer由于…