(2)MongoDB副本集自动故障转移原理
前文我们搭建MongoDB三成员副本集,了解集群基本特性,今天我们围绕下图聊一聊背后的细节。

默认搭建的replica set均在主节点读写,辅助节点冗余部署,形成高可用和备份, 具备自动故障转移的能力。
集群心跳保活
集群每个节点以周期性向其他成员发出心跳命令 replSetHeartbeat来获取状态,
根据应答消息来更新节点的状态,根据最终状态确定是否重选主节点。
默认心跳周期 heartbeatIntervalMillis= 2000ms;
认定Primary节点失联的阈值 electionTimeoutMillis=10s

异步复制
辅助节点复制主节点的oplog,并将改变应用到数据集,从而保持与主节点数据同步。
这里有三个知识点:
oplog是一个特殊的封顶集合capped collection, 主节点上的operation log会记录在主节点的oplog中,辅助节点异步拷贝这些操作,这样所有的节点的都包含operatin log的一个副本:local.oplog.rs集合
每次异步复制触发的时机是在心跳保活阶段,所有的辅助节点都会在ping阶段从其他成员插入oplog文档。
oplog中的每个操作都是冥等的:无论是一次还是多次应用到目标数据集,oplog操作会产生相同的结果
删除和插入操作:
若多次应用删除操作,后续删除操作无效果;
若多次应用插入操作,因为每次操作均包含_id值,因此它也不会插入文档的第二个副本(因为_id必须是唯一的)。
当有新节点加入集群,该节点会启动另一种同步:initial sync, 将所有数据从副本集一个成员拷贝到另外一个成员, 复制完成,将过渡为辅助节点。
选举主节点
集群会因为各种事件触发选举主节点
在集群中添加新节点
初始化replica set集群
执行人工运维命令(rs.stepDown() rs.reconfig())维护集群
辅助节点与主节点失联时间超过默认10s
自动故障转移说的是最后一种情况:

默认情况下,辅助节点A与主节点心跳失联超过10s,A节点标记主节点不可用;之后与其他辅助节点心跳保活,沟通各自信息(节点的票数、节点优先级、PingMs等因素)确立出新主节点。
在发生故障转移时,集群不能再执行写入操作; 如果你在客户端配置了在辅助节点的读取首选项 read preference,则集群可继续提供读取能力。
你的应用程序可用重试逻辑应对自动故障转移和后续的重选,从MongoDB3.6版本开始,MongoDB Driver可侦测主节点的失联,并执行一次重试操作。
适配MongoDB4.2的Driver默认会重试写入操作;
适配Mongodb4.0-3.6的Driver需显式在连接字符串包含retryWrites = true,以确保主节点失联时能重试写入操作。
连接副本集的客户端配置字符串,其中rs0是配置文件中设置的副本集名称 replSetName
mongodb://account:passward@mongodb0.example.com:27017,mongodb1.example.com:27017,mongodb2.example.com:27017?replicaSet=rs0
OK, 以上便是MongoDB副本集心跳保活、异步复制、自动故障转移的背景知识。
留一个作业?
客户端连接MongoDB副本集的连接字符串,只是一个很普通的IP数组,
- 并未体现主副节点, 客户端是怎么区分主副节点,并向主节点发出写入指令?
- 另外MongoDB服务器发生故障转移后,客户端又是如何再次识别出主副节点?
这就涉及到客户端Moninoring, 所有遵守MongoDB官方规范的Driver都会实现 Service discovery和Monitoring :
我们在连接字符串指定的IP节点其实是种子节点,Driver会准实时监视集群,获取集群最新的状态信息。(heartbeatFrequencyMS 约定了客户端Driver检查集群状态的时间间隔)
这也与我在MongoDB 辅助节点看到的日志相互照应, 这也说明了 MongoBB故障转移并不只是服务端的事,客户端Driver 也为我们做了不少的事情。

+ https://github.com/mongodb/specifications/blob/master/source/server-discovery-and-monitoring/server-discovery-and-monitoring.rst#heartbeatfrequencyms
+ https://docs.mongodb.com/manual/reference/connection-string/#urioption.heartbeatFrequencyMS
(2)MongoDB副本集自动故障转移原理的更多相关文章
- (2)MongoDB副本集自动故障转移全流程原理
前文我们搭建MongoDB三成员副本集,了解集群基本特性,今天我们围绕下图聊一聊背后的细节. 默认搭建的replica set均在主节点读写,辅助节点冗余部署,形成高可用和备份, 具备自动故障转移的能 ...
- MongoDB 主从复制及 自动故障转移
1.MongoDB 主从复制 MongoDB复制是将数据同步在多个服务器的过程. 复制提供了数据的冗余备份,并在多个服务器上存储数据副本,提高了数据的可用性, 并可以保证数据的安全性. 复制还允许您从 ...
- MongoDb复制集实现故障转移,读写分离
前言 数据库技术是信息系统的一个核心技术,发展很快,各种功能类型数据库层出不穷,之前工作中使用过关系型数据库(mysql.oracle等).面相对象数据库(db4o).key-value存储(Memc ...
- mongodb副本集自动切换修复节点解决方案
副本集部署 1.启动mongod 在每台运行mongod服务的机器上增加配置文件/etc/mongodb-rs.conf,内容为: [root@MongodbF-A etc]# vi /etc/mon ...
- MongoDB副本集的原理,搭建
介绍: mongodb副本集即客户端连接到整个副本集,不关心具体哪一台机器是否挂掉.主服务器负责整个副本集的读写,副本集定期同步数据备份,一旦主节点挂掉,副本节点就会选举一个新的主服务器,这一切对于应 ...
- MongoDB副本集(一主两从)读写分离、故障转移功能环境部署记录
Mongodb是一种非关系数据库(NoSQL),非关系型数据库的产生就是为了解决大数据量.高扩展性.高性能.灵活数据模型.高可用性.MongoDB官方已经不建议使用主从模式了,替代方案是采用副本集的模 ...
- MongoDB 副本集的原理、搭建、应用
概念: 在了解了这篇文章之后,可以进行该篇文章的说明和测试.MongoDB 副本集(Replica Set)是有自动故障恢复功能的主从集群,有一个Primary节点和一个或多个Secondary节点组 ...
- mongodb副本集原理及部署记录
工作原理 1.副本集之间的复制是通过oplog日志现实的.备份节点通过查询这个集合就可以知道需要进行复制的操作 2.oplog是节点中local库中的一个固定的集合,在默认情况下oplog初始化大小为 ...
- MongoDB副本集的常用操作及原理
本文是对MongoDB副本集常用操作的一个汇总,同时也穿插着介绍了操作背后的原理及注意点. 结合之前的文章:MongoDB副本集的搭建,大家可以在较短的时间内熟悉MongoDB的搭建和管理. 下面的操 ...
随机推荐
- js实现点击隐藏图片
方法一: 把图片的display设为none,触发点击事件时,display变为block <style> img { width: 400px;height: 300px; displa ...
- 报错:org.springframework.beans.factory.BeanCreationException
报错码为以下内容,把自己走的坑贴出来,免得大家如同样的坑.以下解决方法仅供参考. ERROR [RMI TCP Connection(3)-127.0.0.1] - Context initializ ...
- CSS3 box-sizing 盒子布局
在CSS中盒模型被分为两种,第一种是W3C的标准模型,第二种是IE怪异盒模型.不同之处在于后者的宽高定义的是可见元素框的尺寸,而不是元素框的内容区尺寸.目前对于浏览器大多数元素都是基于W3C标准的盒模 ...
- 「THUPC 2019」不等式 / inequality
https://loj.ac/problem/6620 高中数学好题.. |kx+b|的函数图像很直观,直接考虑函数图像: 一定只有一段极小值点! 这个点就是最小值了 特点:斜率为0! 而且发现,如果 ...
- Delta Lake源码分析
目录 Delta Lake源码分析 Delta Lake元数据 snapshot生成 日志提交 冲突检测(并发控制) delete update merge Delta Lake源码分析 Delta ...
- 【2016福建省夏令营Day1】数据结构
Problem 1 楼房(build.cpp/c/pas) [题目描述] 地平线(x轴)上有n个矩(lou)形(fang),用三个整数h[i],l[i],r[i]来表示第i个矩形:矩形左下角为(l[i ...
- 为什么我们要使用DTO
基础结构解释 UI-表现层-与控制器打交道(UI向Controller 传递数据时使用DTO(数据传输对象)) Service-应用服务层 Domain 领域对象 DTO 数据传输对象,一般只包含基础 ...
- 很多.net 程序员不知道又非常重要的 .net高级调试技巧.调试别人的dll方法内的变量
事情是这样的, 最近需要开发Orcale的数据库. 于是使用了EF 加上 Oracle.ManagedDataAccess.Client 这个Oracle.ManagedDataAccess 很好用, ...
- Text Style Transfer论文笔记
Text Style Transfer主要是指Non-Parallel Data条件下的,具体的paper list见: https://github.com/fuzhenxin/Style-Tran ...
- Visual Studio Team Services使用教程【1】:邀请团队成员
2017.4.23之后建议朋友看下面的帖子 TFS2017 & VSTS 实战(繁体中文视频) Visual Studio Team Services(VSTS)与敏捷开发ALM实战关键报告( ...