k8s-分布式系统架构master-worker

K8S系列一：概念入门 - 知乎 (zhihu.com) 大白话先了解k8s。

k8s是为容器服务而生的一个可移植容器的编排管理工具

概述

Master-Workers 架构（粗译为主从架构）是分布式系统中常见的一种组织方式。

面对分布式系统中一堆分离的机器资源，主从架构是一种最自然、直白的组织方式——就像一群人，有个说了算 leader 进行组织、协调，才能最大化这群人的对外输出能力。

架构模块

主从架构系统，通常由单个 Master ，多个 Worker 组成。

此外，还有使用系统的外部用户。我们通常称之为客户端（Client），Client 通过系统暴露的接口（如 RPC、HTTP）与系统进行交互。

Master

Master 通常会存储系统的元信息，什么是元信息呢？可以理解为集群组织信息在 Master 脑中的一个倒影，或者说视图（View）：比如集群有多少 Worker、每个 Worker 有多少剩余容量、负载如何、哪些 Worker 存储了哪些数据等等。

元信息收集：分两种情况：

配置。可以理解为集群静态信息，比如系统初始有多少个 Worker、Worker 的物理拓扑、每个 Worker 的容量等等，Master 会在启动时加载这些配置信息。
汇报。主要是集群动态信息，Worker 在运行时，主动将自身状态汇报给 Master，比如 Worker 是否存活、Worker 负载信息、Worker 存了哪些数据等等。在系统运行中，Worker 会定时地通过心跳（Heartbeat）等方式，持续给 Master 汇报。

　　-----》然后，Master 就可以对整个集群情况有个掌握，从而做出一系列的决策，试举几例：

调度（Schedule）。一个新的写数据请求来了，要分配给哪个 Worker 负责？通常会选择一个负载小的。
均衡（Balance）。随着 Worker 变动、数据增删，数据在不同机器中分布可能不再均匀，在某些机器形成读写热点、在另一些机器却存在资源浪费，从而影响系统整体性能。因此需要实时监测，适时迁移。
路由（Locate/Route）。一个读写请求来了，不知道去找哪个 Worker？Master 便会查询元信息，给出对应数据的 Worker 信息。

　　-----》 Master很重要，使用主备来保证其中一个master故障，可以通过选举来重新替换master。

Workers

在存储系统中，Workers 会存储实际数据，并对外提供数据 IO 服务。

从单机视角来看，Worker 需要设计一个贴合业务需求的单机引擎，高效的存储数据。单机引擎设计也是一个很大的话题，这里简要提一嘴：

索引设计：比如 B+ 树、LSM-tree、哈希索引等等。
底层系统：是用裸盘还是文件系统。
存储介质：使用可持久化内存、固态硬盘还是机械硬盘。

从多机视角来看，机器的数量一上去，系统中单台机器出现故障的概率便大大提高。为了应对这种常态化的故障，需要：

运维的自动化。机器不可用后要自动剔除，修好后要便捷上线。
数据的冗余化。机器故障后数据不能丢，因此每份数据要多副本存放、使用 EC 算法做冗余。

小结

Master-Workers 架构是分布式系统中最常用的一种组织方式。

还有： Master-Worker-Gcs架构。