1.主备切换机制原理剖析与源码分析 2.注册机制原理剖析与源码分析 3.状态改变处理机制源码分析 4.资源调度机制源码分析(schedule(),两种资源调度算法)(核心) 一.主备切换机制原理 1.Master主备切换机制:实际上指的就是,在Active Master挂掉之后,切换到Standby Master时, Master会做哪些操作. 2.Master实际上可以配罟两个,Spark原生的standalone模式是支持 Master主备切换,当Active Master节点挂掉的时候,可…

一.主备切换机制原理剖析 1.图解 2.部分源码 ###master.scala中的completeRecovery方法: /* * 完成Master的主备切换 */ def completeRecovery() { // Ensure "only-once" recovery semantics using a short synchronization period. synchronized { if (state != RecoveryState.RECOVERING) { r…

一. 状态改变机制源码分析 在剖析Master核心的资源调度算法之前,让我们先来看看Master的状态改变机制. Driver状态改变  可以看出,一旦Driver状态发生改变,基本没有好事情,后果要么是删除Driver,要么是报异常!   removeDriver方法:   Executor状态改变  可以看出,如果Executor时非正常退出,会尝试重新调度(启动)该Executor,直到该Application达到了最大的重试次数10次.   removeApplication方法 二.…

任何版本控制系统的一个最有的用特性就是“撤销 (undo)”你的错误操作的能力.在 Git 里,“撤销” 蕴含了不少略有差别的功能. 当你进行一次新的提交的时候,Git 会保存你代码库在那个特定时间点的快照:之后,你可以利用 Git 返回到你的项目的一个早期版本. 在本篇博文里,我会讲解某些你需要“撤销”已做出的修改的常见场景,以及利用 Git 进行这些操作的最佳方法. 撤销一个“已公开”的改变 场景: 你已经执行了 git push, 把你的修改发送到了 GitHub,现在你意识到这些 com…

任何版本控制系统的一个最有的用特性就是“撤销 (undo)”你的错误操作的能力.在 Git 里,“撤销” 蕴含了不少略有差别的功能. 当你进行一次新的提交的时候,Git 会保存你代码库在那个特定时间点的快照:之后,你可以利用 Git 返回到你的项目的一个早期版本. 在本篇博文里,我会讲解某些你需要“撤销”已做出的修改的常见场景,以及利用 Git 进行这些操作的最佳方法. 撤销一个“已公开”的改变 场景: 你已经执行了 git push, 把你的修改发送到了 GitHub,现在你意识到这些 com…

<Git.Github.Gitkraken 学习笔记> 一.写在前面 1.参考资料 本文参考 <Pro Git> 一书. 在官网有免费在线版可供阅读:https://git-scm.com/book/en/v2 未看章节: 服务器上的 Git Git 内部原理 - 引用规范 2.符号备注 本文出现 [重点] 处,表示为知识的重点,可以着重看待. 二.起步 1.版本控制 (1)什么是版本控制 版本控制(Revision control)是一种记录一个或若干文件内容变化,以便将来查阅特…

分布式锁?选主? 分布式锁可以保证当有多台实例同时竞争一把锁时,只有一个人会成功,其他的都是失败.诸如共享资源修改.幂等.频控等场景都可以通过分布式锁来实现. 还有一种场景,也可以通过分布式锁来实现,那就是选主,为了保证服务的可用性,我们都会以一主多从的方式去部署,特别是提供存储能力的服务.Leader服务来接收数据的写入,然后将数据同步给Follower服务.当Leader服务挂掉时,我们需要从Follower服务中重新选举一个服务来当Leader,复杂的方式是通过Raft协议去协商,简单点,…

参考 innodb参数汇总  InnoDB的Master Thread工作原理 innodb_max_dirty_pages_pct 默认值 show variables like 'innodb_max_dirty_pages_pct'; %.加快了脏页刷新频率减少恢复时间,也可保证磁盘IO负载. innodb_adaptive_flushing(自 适应刷新)    影响每秒刷新脏页的数目.规则由原来的“大于innodb_max_dirty_pages_pct时刷新100个脏页到磁盘”变为…

原理图解: Master类位置所在:spark-core_2.11-2.1.0.jar的org.apache.spark.deploy.master下的Master类   //截取了部分代码 //处理Application注册的请求 case RegisterApplication(description, driver) => //如果master的状态是standby,也就是当前这个master,是standby master,不是active master //那么Application来…

1 复制概述 Mysql内建的复制功能是构建大型,高性能应用程序的基础.将Mysql的数据分布到多个系统上去,这种分布的机制,是通过将Mysql的某一台主机的数据复制到其它主机(slaves)上,并重新执行一遍来实现的.复制过程中一个服务器充当主服务器,而一个或多个其它服务器充当从服务器.主服务器将更新写入二进制日志文件,并维护文件的一个索引以跟踪日志循环.这些日志可以记录发送到从服务器的更新.当一个从服务器连接主服务器时,它通知主服务器从服务器在日志中读取的最后一次成功更新的位置.从服务器接收…