绯闻女孩不只会八卦:从“验明正身”到“抓内鬼”,Gossip的进阶玩法
默克尔树
默克尔树(Merkle Tree)是由计算机科学家Ralph Merkle多年前提出,并以他本人的名字来命名,也叫哈希树。默克尔树是一种树形数据结构,通常是二叉树,其中每个叶子节点是数据块的哈希值,而每个非叶子节点是其所有子节点哈希值的哈希。树根的哈希值(Merkle Root)代表了整个数据集的摘要。
比如想验证Y这个值是否被包含在某个区间上,那么只需要验证H(Z)、H(WX)的哈希值,构成默克尔树路径就可以证明。
1)获取Y的哈希值H(Y);
2)通过H(Z)的哈希值,计算得到H(YZ);
3)通过H(WX)+H(YZ)得到哈希值H(WXYZ);
4)将哈希值H(WXYZ)与根节点哈希值对比,完成验证。
默克尔树和反熵可以结合使用。例如,当一个节点需要与另一个节点同步数据时,可以先比较两个节点的默克尔树。如果默克尔树不一致,就说明两个节点的数据可能不一致。然后,可以通过比较默克尔树的不同部分,找出数据不一致的具体位置,从而只同步不一致的数据,而不是全部数据。这样可以大大提高数据同步的效率。
基于Gossip实现节点的故障检测
单点视角检测
集群中的每个节点, 定期向集群中的其它节点发送消息,用于检测对方是否在线。如果接收消息的节点没有在规定的时间内返回消息,那么,发送消息的节点就会将接收消息的节点标注为疑似下线状态(Probable Fail,Pfail)。
检测信息传播
集群中的各个节点会通过相互发送消息的方式来交换自己掌握的集群中各个节点的状态信息,如在线(Success)、疑似下线(Pfail)、下线(Fail)。例如,当节点C通过消息得知节点 A认为节点B疑似下线时,节点C会更新自己保存的集群状态信息,将从A获得的下线报告保存起来。
基于检测信息作下线判决
如果在一个集群里,超过半数的节点都将某个主节点 X 报告为疑似下线,那么,节点 X 将被标记为下线(Fail),并广播出去,所有收到这条 Fail 消息的节点都会立即将主节点 X 标记为 Fail。至此,故障检测完成。
总结:没有银弹,只有权衡
分布式系统是由多个通过网络互连、协同工作的独立计算节点组成的复杂系统,旨在共同完成大规模的存储和计算任务。在其设计与实现过程中,必须面对各种潜在的故障模式,主要包括崩溃故障(节点无响应)和更具挑战性的拜占庭故障(节点行为不可预测甚至恶意)。
为了高效管理海量数据,数据分布策略不可或缺,常见的有哈希分布(均匀但节点变更敏感)、范围分布(利于范围查询但易热点)和一致性哈希(优化节点增删时的数据迁移量)。
为确保数据的持久性和服务的高可用性,副本机制被广泛采用。主流模式包括领导者-追随者模式(强一致性易实现,Leader为瓶颈)和多主复制模式(高写可用性,冲突解决复杂)。选择何种模式取决于对一致性、可用性、写吞吐的具体需求。
在协调节点行为、维护系统状态一致性方面,Lease机制通过有时限的授权来避免“脑裂”等问题,是实现领导者选举和资源互斥的关键。Quorum机制则通过多数派投票原则,为读写操作和共识达成提供了强一致性的数学保障(当W+R > N时)。逻辑时钟,特别是向量时钟,为追踪事件因果关系、检测并发操作和数据冲突提供了有力工具。
Gossip协议作为一种轻量级、去中心化的信息传播方式,在集群成员管理、故障检测和元数据同步等场景中表现出色,尤其适合大规模动态变化的系统。结合默克尔树等技术,可以进一步优化其数据同步效率。
分布式系统的设计本质上是一场复杂的工程权衡。没有万能的“银弹”,主从架构追求强一致性,往往以牺牲部分写性能或增加系统复杂度为代价;而去中心化的多活架构则可能优先保证可用性和分区容忍性,但一致性模型更为宽松(通常是最终一致性),且冲突解决更具挑战。
深刻理解并熟练运用数据分片、副本同步、状态协调以及容错处理这些核心机制,是在性能、可靠性、成本和开发维护复杂度之间找到最佳平衡点,从而构建出卓越分布式系统的关键所在。
很高兴与你相遇!如果你喜欢本文内容,记得关注哦!!!
绯闻女孩不只会八卦:从“验明正身”到“抓内鬼”,Gossip的进阶玩法的更多相关文章
- 网页抓取小工具(IE法)
网页抓取小工具(IE法)—— 吴姐 http://club.excelhome.net/thread-1095707-1-1.html 用IE提取网页资料的好处在于:所见即所得,网页上能看到的信息一般 ...
- 移动端https抓包那些事--进阶篇
上一次和大家介绍了手机端https抓包的初级篇,即在手机未root或者未越狱的情况下如何抓取https流量,但是当时分析应用时会发现,好多应用的https的流量还是无法抓取到,这是为什么呢? 主要原因 ...
- Fiddler抓包原来可以这么玩
Fiddler是一个抓包工具 1 解压压缩包至C\program files (x86) 2 打开C program files (x86) Fiddler Web Debugger V4.6.201 ...
- Fiddler4入门--手机抓包工具安装和使用说明
Fiddler4入门--手机抓包工具安装和使用说明.电脑最好是笔记本连同一个wifi,这样能和手机保持统一局域网内. 很多区块链dapp项目方风控做的很差,利用fiddler抓包分析找一些漏洞,然后利 ...
- 【Oculus Interaction SDK】(五)设置不同的抓握手势
前言 这篇文章是[Oculus Interaction SDK]系列的一部分,如果发现有对不上的对方,可以回去翻看我之前发布的文章,或在评论区留言.如果文章的内容已经不适用于新版本了,也可以直接联系我 ...
- 笔记整理--玩转robots协议
玩转robots协议 -- 其他 -- IT技术博客大学习 -- 共学习 共进步! - Google Chrome (2013/7/14 20:24:07) 玩转robots协议 2013年2月8日北 ...
- 如何优雅地运用 Chrome (Google)
已经在很多工具类文章前言中,提及使用工具的重要性:以至于在写这篇时候,大为窘迫:穷尽了脑海中那些名句箴言,目测都已然在先前文章中被引用.鉴于杳让人心底意识到工具的重要性,并且能践行之,远比介绍如何使用 ...
- re.match re.search re.findall区别
re正则表达式里面,常用的三种方法的区别. re.macth和search匹配得到的是match对象,findall得到的是一个列表. match从字符串开头开始匹配,search返回与正则表达式匹配 ...
- 4天赚4000RMB 引流秘籍 卑鄙无耻之徒
他说:有什么引流秘籍吗? 我说:贴吧.天涯.论坛都不错,只要不明着发广告,每天被动加几十个人轻轻松松的,如果执行力好,几百上千都有可能. 他说:我该怎么操作. 我说:网上找点好的帖子,简单修改一下部分 ...
- 三节课MINI计划第一周
第一部分 产品经理做什么以及需要的能力 (一)用户分析 用户群——行为分析——需求痛点——产品卖点——更多用户群 (二)功能分析 产品调研——产品结构——功能点——关键流程——下一轮产品调研 (三 ...
随机推荐
- Spark知识点汇总
一.Spark架构设计 二.Spark常用算子 tips1: 数据处理的生命周期tips2: repartition vs coalesce区别: 可以使用 repartition 算子随意调整(提升 ...
- ETLCloud异常问题分析ai功能
在数据处理和集成的过程中,异常问题的发生往往会对业务运营造成显著影响.为了提高ETL(提取.转换.加载)流程的稳定性与效率,ETLCloud推出了智能异常问题分析AI功能.这一创新工具旨在实时监测数据 ...
- Win10纯净版电脑录屏功能不可用的问题
有很多深度官网的小伙伴,都知道在Windows 10系统有录屏功能,而有win10纯净版的用户,打开自带录屏功能却突然失败了的问题,这该怎么解决呢?下面深度技术小编就带大家看看详细的处理方法,可以参考 ...
- CF1922E Increasing Subsequences
一个显然的思路就是构造很多互不相关的上升序列.但是这样构造出来的 \(n\) 是 \(O(\log_2^2 n)\) 量级的,所以需要考虑新做法. 假设我们本来有一个上升序列,我们能否往里面插数?如果 ...
- 音视频开发进阶指南:基于iOS实现超低延时耳返
1 功能简介 在音视频应用中我们经常涉及到耳机麦克风和设备麦克风的切换.不同声道的配置.在遇到这种情况的时候,我们如何配置呢? 耳返即耳机采集监听,在设备上插入耳机(普通耳机或蓝牙耳机)后,能从本机耳 ...
- 浅谈 Android 娱乐直播/游戏特殊音效如何实现
1 功能简介 我们在直播中,为了增强真实感,烘托场景氛围需要播放的简短效果音.例如:掌声.笑声.礼物音效.提示音等.在游戏中,有时也需要播放子弹声.碰撞打击声等. ZegoExpress SDK 提供 ...
- Claude Code:AI编程的深度体验与实践
前言:从代码补全到智能协作的进化 在AI技术日新月异的今天,开发者们正经历着一场前所未有的效率革命.面对日益复杂的开发需求和快速迭代的技术栈,借助AI工具提升开发效率已不再是选择题,而是必选项. 我的 ...
- J - VAT Man Gym - 102040J
https://vjudge.net/contest/332199#problem/J 水题,直接上代码 #include<iostream> #include<cstdio> ...
- 十年大厂员工终明白:MySQL性能优化的尽头,是对B+树的极致理解
存储引擎 存储引擎是数据库管理系统(DBMS)或键值存储系统的核心组件,它定义了数据在持久化存储介质上如何组织.存储.检索和管理.不同的存储引擎针对特定负载(如读密集型.写密集型.混合型)和数据模型( ...
- [题解]CF1774C Ice and Fire
CF1774C Ice and Fire *1300 Luogu 题意简述 有\(n\)个人,第\(i\)个人温度为\(i\),进行\(n-1\)次对战. 所以给出一个长度为\(n-1\)的\(01\ ...