zookeeper先验知识(2PC+paxos)
一、2PC两阶段提交:
在分布式事务中,每个机器节点只能够明确知道自己事务操作的结果,是成功还是失败,而无法获取其他分布式节点的操作结果,因此在事务操作需要跨多个分布式节点时,需要引入一个协调者统一调度所有节点的执行逻辑。

阶段一:提交事务请求
(1)事务询问。协调者向所有的参与者发送事务内容,询问是否可以执行事务提交操作,并开始等待各参与者的响应。
(2)执行事务。各参与者节点执行事务操作,并将Undo和Redo信息记入事务日志中。
(3)各参与者向协调者反馈事务询问的响应。如果参与者成功执行了事务操作,那么久反馈给协调者yes响应,表示事务可以执行;如果参与者没有成功执行事务,那么久反馈给协调者No响应,表示事务不可以执行。
阶段二:执行事务提交
在阶段二中,协调者会根据各参与者的反馈情况,来决定最终是否可以进行事务提交操作,正常情况下,包含以下两种可能。
(1)执行事务提交:假如协调者从所有的参与者获得的反馈都是yes响应,那么就会执行事务提交。
a、发送提交请求。协调者向所有参与者节点发出Commit请求。
b、事务提交。参与者接收到Commit请求后,会正式执行事务提交操作,并在完成提交之后释放在整个事务执行期间占用的事务资源。
c、反馈事务提交结果。参与者在完成事务提交之后,向协调者发送Ack消息。
d、完成事务。协调者接收到所有参与者反馈的Ack消息后,完成事务。
(2)中断事务:假如任何一个参与者向协调者反馈了No响应,或者在等待超时之后,协调者尚无法接收到所有参与者的反馈响应,就会中断事务
a、发送回滚请求。协调者向所有参与者节点发出Rollback请求
b、事务回滚:参与者接收到Rollback请求后,会利用其在阶段一中记录的Undo信息来执行事务回滚操作,并在完成回滚之后释放在整个事务执行期间占用的资源
c、反馈事务回滚结果:参与者在完成事务回滚之后,向协调者发送Ack消息
d、中断事务:协调者接收到所有参与者反馈的Ack消息后,完成事务中断
二阶段提交将一个事务的处理过程分为了投票和执行两个阶段,其核心是对每个事务都采用先尝试后提交的处理方式,因此也可以将二阶段提交看作一个强一致性的算法,下图分别展示了二阶段提交过程中事务提交和事务中断两种场景下的交互流程:


2、两阶段提交的优缺点。
优点:原理简单,实现方便。
缺点:同步阻塞、单点问题、脑裂、太过保守。
二、paxos
paxos算法解决的问题是,如何在一个可能发生宕机或者网络异常的分布式系统中,快速且正确的在集群内部对某个数据的值达成一致。
问题:假设有一组可以提出提案的进程集合,对于一致性的算法需要满足:被提出的提案只能有一个题案产生;假设一个提案被选定后,进程可以获取被选定的提案信息。
组成:Acceptor、Proposer、Leaner。
(1)生成提案
a、Proposer选择一个新的提案编号Mn,然后向某个Acceptor集合的成员发出请求,要求该集合中的Acceptor做出如下回应。
向Proposer承诺,保证不再批准比任何编号小于Mn的提案。
如果Acceptor已经批准过任何提案,那么其就向Proposer反馈当前该Acceptor已经批准的编号小于,但为最大编号的那个提案值。
我们将该请求成为编号为Mn的提案的prepare请求。
b、如果Proposer收到了来自半数以上的Acceptor的响应结果,那么它就可以产生编号为Mn,值为Vn的提案,这里的Vn是所有响应中编号最大的提案的Value值。
如果半数以上的Acceptor没有批准过任何提案,即响应中不包含任何的提案,那么此时Vn的值可以由Proposer任意指定。
(2)批准提案
一个Acceptor可能收到来自Proposer的两种请求,分别是prepare请求和Accept请求,对这两类请求的响应条件如下:
prepare请求:Acceptor可以在任何时候响应一个prepare请求。
Accept请求:在不违背Accept现有承诺的前提下,可以任意响应Accept请求。
总之,一个acceptor只要尚未响应过任何编号大于Mn的prepare请求,那么它就可以接受这个编号为Mn的提议。
参考博客:https://blog.csdn.net/qq_40378034/article/details/99681137
https://www.cnblogs.com/Leo_wl/p/6002110.html
zookeeper先验知识(2PC+paxos)的更多相关文章
- zookeeper 入门知识
作为开启分布式架构的基石,除了必会还有的选么 自己的一些理解,有错误的话请一定要给予指正! 一.是什么? 分布式数据一致性的解决方案. 二.有什么用 数据的发布/订阅(配置中心) . 负载均衡(du ...
- zookeeper入门知识
ZooKeeper 是什么? ZooKeeper 顾名思义 动物园管理员,他是拿来管大象(Hadoop) . 蜜蜂(Hive) .小猪(Pig) 的管理员, Apache Hbase和 Apache ...
- ZooKeeper是以Fast Paxos算法为基础的
ZooKeeper是以Fast Paxos算法为基础的,Paxos 算法存在活锁的问题,即当有多个proposer交错提交时,有可能互相排斥导致没有一个proposer能提交成功,而Fast Paxo ...
- LDA中的先验知识
LDA涉及到的先验知识有:二项分布.Gamma函数.Beta分布.多项分布.Dirichlet分布.马尔科夫链.MCMC.Gibbs Sampling.EM算法等. 二项分布 二项分布是N重伯努利分布 ...
- Zookeeper相关知识
一.Zookeeper是什么? Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务.状态同步服务. ...
- Zookeeper概念学习系列之paxos协议
不多说,直接上干货! 前言 一种最终一致的算法,paxos算法. paxos算法是由大牛lamport发明的,关于paxos算法有很多趣事.比如lamport论文最初由故事描述来引入算法,以至于那班习 ...
- ZooKeeper理论知识
前言 相信大家对 ZooKeeper 应该不算陌生.但是你真的了解 ZooKeeper 是个什么东西吗?如果别人/面试官让你给他讲讲 ZooKeeper 是个什么东西,你能回答到什么地步呢? 我本人曾 ...
- Zookeeper学习之:paxos算法
paxos算法的重要性众所周知,它给如今的分布式一致性提供了迄今为止最好的解决方案.无论是Lamport自己的论文描述,还是网上的诸多资料,对paxos的描述都是及其简洁的,给人的感觉是paxos看似 ...
- Zookeeper基本知识
Zookeeper的Session: (1)客户端和server间采用长连接 (2)连接建立后,server产生session ID(64位)返还给客户端 (3)客户端定期发送ping包来检查和保持和 ...
随机推荐
- Python第六章 面向对象
第六章 面向对象 1.面向对象初了解 面向对象的优点: 1.对相似功能的函数,同一个业务下的函数进行归类,分类 2.类是一个公共的模板,对象就是从具体的模板中实例化出来的,得到对象就得到一 ...
- THUSC2019:Illusory World
拿了1=就来更 Update:没约咕了
- 全栈项目|小书架|服务器开发-Koa2中间件机制洋葱模型了解一下
KOA2 是什么? Koa是一个新的 web 框架,由 Express 幕后的原班人马打造, 致力于成为 web 应用和 API 开发领域中的一个更小.更富有表现力.更健壮的基石. 通过利用 asyn ...
- Ubuntu 下安装 OpenSSH Server
Ubuntu 下安装 OpenSSH Server 是无比轻松的一件事情,需要的命令只有一条: sudo apt-get install openssh-server (查看返回的结果,如果没有出错, ...
- Solr+ik分词支持特殊符号分词
在工具类(CharacterUtil.java)里,找到方法 identifyCharType,加入以下代码: } else if (ub == Character.UnicodeBlock.GREE ...
- ROMTableAddr = 0xE00FF003 错误 Target DLL has been cancelled 错误
JTAG下载固件错误 keil下载固件错误 如下错误 * JLink Info: Found SWD-DP with ID 0x1BA01477 * JLink Info: Found SWD-DP ...
- 关于近期使用webpack所引发的思考
近期,(使其也挺长时间了).使用了一段时间的webpack. 但是在使用期间个人感觉并不想网上说的那样好,个人对webpack的评价并不是很高,甚至有点反感使用webpack. 个人感觉使用webpa ...
- RabbitMQ-python应用
介绍 官方文档:https://www.rabbitmq.com/tutorials/tutorial-one-python.html RabbitMQ是一个基于AMQP协议的消息代理.它的工作就是接 ...
- MySQL Backup--xtrabackup与Bulk Load for Create Index
场景描述:主从使用MySQL 5.7.19 1.从库上使用xtrabackup进行热备. 2.主库行执行DDL创建索引: ALTER TABLE `tb_xxx` ADD INDEX idx_good ...
- 【JUC】5.线程池—Executor
创建线程池可以分为三种方式: 1. 通过ThreadPoolExecutor的构造方法,创建ThreadPoolExecutor的对象,即一个线程池对象: 此构造方法,一共7个参数,5个必须参数,2个 ...