分布式系统架构1:共识算法Paxos
1.背景
今天开始更新分布式的文章,工作几年后还没系统的学习分布式的内容,趁着还有时间学习沉淀的时候多输出些文章
2.为什么需要分布式共识算法
思考:现在你有一份随时变动的数据,需要确保它正确存储在网络的几台不同机器上,并且要保证数据是随时可用的,应该怎么做?
在分布式环境下,可以不必去追求系统内所有节点在任何情况下的数据状态都一致,采用“少数服从多数”的原则,认为数据的变化被正确存储在系统中。因此,我们需要一种算法,能够让分布式系统内部暂时容忍节点存在不同的状态,但最终大多数节点的状态能够一致。
这种让系统能最终表现出整体一致性的过程,急救室各个节点的协商共识
3.Paxos算法的历史
简单写下Paxos算法的历史,最早是由Leslie Lamport(就是大名鼎鼎的LaTeX中的“La”)提出的一种基于消息传递的协商共识算法。
Lamport 在 1990 年首次发表了 Paxos 算法,选的论文题目就是“The Part-Time Parliament”。但是由于论文使用了希腊城邦的比喻,使得论文更为晦涩难懂,审稿人要求Lamport进行修改,Lamport 非常不爽,然后干脆就撤稿不发了。 2001 年,Lamport 在“SIGACT News”杂志上发表了这篇论文,并放弃了“希腊城邦”的比喻。
之后,2006 年,Google 的 Chubby、Megastore 和 Spanner 等分布式系统,都使用 Paxos 解决了分布式共识的问题,这才使得Paxos 算法一夜间成为计算机科学分布式这条分支中,最炙手可热网红概念。
4.Basic Paxos算法工作流程
Basic Paxos算法将分布式系统中的节点分为提案节点、决策节点和记录节点三类
- 提案节点Proposer:提出对某个值进行设置操作的节点,设置值这个行为就像提案,值设置成功后,不可变也不会丢失
- 决策节点Acceptor:应答提案的节点,需要对提案进行投票,同时需要记住自己的投票历史
- 记录节点Learner:超过半数决策节点就某个提案达成了共识,那么记录节点就需要接受这个提案,并就该提议作出运算,然后将运算结果返回给客户端
4.1Paxos算法怎么解决并发操作带来的竞争?
分布式环境下,一个节点取得锁后,如果在释放锁之前发生崩溃,整个操作都会被无限期等待阻塞。
Paxos解决竞争分2个阶段:
准备Prepare:提案节点先广播一个Prepare请求,并附带一个全局数字n作为提案ID,决策节点收到请求后,“两个承诺,一个应答”。承诺不在接收提案ID小于等于n的Prepare请求,也承诺不再接收小于n的Accept请求。应答已经批准过的提案中ID最大的那个。
批准Accept:提案节点收到多数派的应答后,会有两种结果:
- 所有响应的决策节点此前没有批准过这个值,即首次设值的情况,那就自己随意选定值与提案ID,广播给决策节点
- 响应决策节点中,已有至少一个节点的应答中包含有值了,非首次设值的情况,那么需要从应答中找出提案ID最大的那个值,再广播。协商共识结束
Basic Paxos 只能对单个值形成决议,并且决议的形成至少需要两次网络请求和应答(准备和批准阶段各一次),高并发情况下可能形成活锁。现在只做理论学习就行了。下面讲Multi Paxos算法。
5.Multi Paxos共识算法
5.1核心改进
概念:Multi-Paxos 只是一种思想,这种思想的核心就是通过多个 Basic Paxos 实例就一系列值达成共识。
相比较Basic Paxos算法,Multi Paxos增加了选主
的过程:
- 提案节点发现没有主提案节点时,使用准备、批准两轮网络交互,向其他节点广播自己竞选主节点请求
- 得到决策节点多数派的批准时,竞选主节点成功。
选主之后,所有客户端请求都会由主节点来完成提案,不再需要准备过程,只需要 执行批准交互即可:
5.2只有主从节点
有了主节点后,角色可以简化,不再区分提案、决策、记录节点。只区分主、从节点。
于是,分布式系统中如何对某个值达成一致 的问题可以分为3部分解决:
- 如何选主
- 如何把数据复制到各个节点上
- 怎么保证过程是安全的
3个问题解决了,就达成共识了。
这里针对问题2和问题3写些内容,用于应对可能的面试:
问题2:数据复制的过程?
- 主节点将 X 写入自己的变更日志,但先不提交,接着把变更 X 的信息在下一次心跳包中广播给所有的从节点,并要求从节点回复“确认收到”的消息;
- 从节点收到信息后,将操作写入自己的变更日志,然后给主节点发送“确认签收”的消息;
- 主节点收到过半数的签收消息后,提交自己的变更、应答客户端并且给从节点广播“可以提交”的消息;
- 从节点收到提交消息后提交自己的变更,数据在节点间的复制宣告完成。
问题3:过程是安全的?
- 协定性Safety:保证选主的结果一定有且只有唯一的主节点
- 终止性Liveness:保证选主过程一定是在某一时刻能够结束的
从极客时间课程原文上没理解清楚这段的解释,先空着吧,后面理解了再修改这段
总结
Paxos 算法不直接应用于工业界,理解原理理论就行。它的变体算法,比如我们今天学习的 Multi Paxos、Raft 算法,以及没有提到的 ZAB 等算法,都是分布式领域中的基石。
分布式系统架构1:共识算法Paxos的更多相关文章
- Paxos分布式系统共识算法?我愿称其为点歌算法…
原创:微信公众号 码农参上,欢迎分享,转载请保留出处. 哈喽大家好啊,我是Hydra. 分布式系统共识算法Paxos相信大家都不陌生,它被称为最难理解的算法不是没有道理的,首先,它的发表之路就充满了坎 ...
- Paxos共识算法
Paxos共识算法 paxos是一族用来解决分布式系统共识的基础算法,共识过程就是在一组节点上达成一个一致的结果.由于节点可能会错误,通讯消息也可能会丢失,所以建立共识是一个比较复杂的过程. paxo ...
- 共识算法:PBFT、RAFT
转自:https://www.cnblogs.com/davidwang456/articles/9001331.html 区块链技术中,共识算法是其中核心的一个组成部分.首先我们来思考一个问题:什么 ...
- 分布式共识算法 (二) Paxos算法
系列目录 分布式共识算法 (一) 背景 分布式共识算法 (二) Paxos算法 分布式共识算法 (三) Raft算法 分布式共识算法 (四) BTF算法 一.背景 1.1 命名 Paxos,最早是Le ...
- 诸葛 VS 庞统,拿下 Paxos 共识算法
前言 分布式确实是一个有趣的话题,只要你留心观察,分布式在生活中无处不在. 悟空哥最开始学习分布式是从一篇非常用心写的技术征文开始的,而且这篇文章获得了征文第一名,在此感谢掘金社区提供的平台.想学习的 ...
- 分布式共识算法随笔 —— 从 Quorum 到 Paxos
分布式共识算法随笔 -- 从 Quorum 到 Paxos 本文主要参考各类英文文献,部分专业术语翻译较为生硬,望谅解. 概览: 为什么需要共识算法? 昨夜西风凋碧树,独上高楼,望尽天涯路 复制(Re ...
- 区块链共识算法 PBFT(拜占庭容错)、PAXOS、RAFT简述
共识算法 区块链中最重要的便是共识算法,比特币使用的是POS(Proof of Work,工作量证明),以太币使用的是POS(Proof of Stake,股权证明)使得算理便的不怎么重要了,而今PO ...
- 分布式系统一致性算法(Paxos)
CAP理论 一致性(Consistency) 可用性(Availability) 分区容错性(网络分区)Partition toleranceCAP理论的特点,就是CAP只能满足其中 ...
- [区块链] 共识算法之争(PBFT,Raft,PoW,PoS,DPoS,Ripple)
近几天对区块链中几种常见的共识机制(PBFT,Raft,PoW,PoS,DPoS,Ripple)进行了总结.尽量使用简单易懂语言,篇幅较大,想了解的可以只读每个算法介绍中前边的原理.本篇文章主要参考& ...
- raft共识算法
raft共识算法 分布式一致性问题 如果说,服务器只有一个节点,那么,要保证一致性,没有任何问题,因为所有读写都在一个节点上发生.那如果server端有2个.3个甚至更多节点,要怎么达成一致性呢?下面 ...
随机推荐
- CSS – Houdini
介绍 简单说这个 Houdini 是一系列 CSS 底层 API,它可以让我们扩展 CSS,做出一些 Polyfill. 举一个例子,让大家有个画面. 我们可以通过 CSS + JS + Canvas ...
- C# 中的 AEAD_AES_256_GCM
注意:AEAD_AES_256_GCM Key的长度必须是32位,nonce的长度必须是12位,附加数据有可能为空值.AEAD_AES_128_GCM Key的长度必须是16位,nonce的长度必须是 ...
- manim边学边做--弧形多边形
弧形多边形是一种结合了圆弧和多边形的图形,这类几何图形在设计中应用非常广泛. 比如在家居设计中,看看家里的沙发,餐桌和座椅等,它们的边角,靠背等地方都是弧形的设计,这种设计有效柔化了室内空间,使整体氛 ...
- JDBC——案例
创建一个商品表 drop table if exists tb_brand; -- 创建tb_brand表 create table tb_brand( id int primary key auto ...
- HttpURLConnection和HttpClient使用
HttpURLConnection 这是Java的标准类,继承自URLConnection,可用于向指定网站发送GET/POST请求. 方法描述 void setRequestMethod(Strin ...
- httpclient调用接口
有时候会将参数(返回结果)压缩(解压),加密(解密) 将json参数通过GZip压缩 Base64加密 1 public static String gzipAndEncryption(String ...
- (系列五).net8 中使用Dapper搭建底层仓储连接数据库(附源码)
说明 该文章是属于OverallAuth2.0系列文章,每周更新一篇该系列文章(从0到1完成系统开发). 该系统文章,我会尽量说的非常详细,做到不管新手.老手都能看懂. 说明:OverallAuth2 ...
- .NET 实现的交互式 OA 系统
前言 近期,我们在后台收到了粉丝们的留言,需要一个高效办公自动化(OA)系统.为了回应大家的期待,今天我们推荐一款既灵活又强大的 OA 系统解决方案,帮助提升日常办公效率和团队协作水平. 在日常工作中 ...
- 关于set实现结构体自动去重原理的推论
转自本人博客,原文链接 先说结论 在每个操作均为log复杂度的前提下,set无法在判断顺序和重复关键字不同时完成对结构体元素的去重. 首先我们先看这段结构体定义,目的是先按num相等进行去重,再按ke ...
- iOS中使用UITextView设置不同文本部分点击事件小结
最近在项目开发中遇到了设置多行文本,点击蓝色邮箱部分跳转到发邮件页面功能.当然比较简单的方式是多标签单独设置,那样稍显麻烦.我们能不能用一个控件,给某一部分添加点击事件,结果是可以的,UITextVi ...