9 时序数据库M3DB架构与原理

一、M3DB介绍

M3DB是Uber开源的一款分布式时序数据库，已在Uber内部使用多年。M3DB有以下特性：

• 分布式的时序数据库，可以水平扩展存储。
• 支持Pormetheus的查询语言PromQL，Prometheus可以使用M3DB做为存储后端。
• 支持多租户，不同租户（Namespace）提供不同的配置（数据失效时间、Bloack大小等）。
• 支持数据聚合，可以对监控指标进行采样。

二、M3DB架构

组件：

• M3Coordinator：协调器，用于协调上游系统（如 Prometheus 和 M3DB ）之间的读写操作，相当于M3DB集群的网关。
• M3Storage Node：存储节点，实际存储时序数据的组件，支持分片、多副本。
• M3Seed Node（Etcd）：种子节点，用于存储元数据，包括集群、Namespace等的配置。

三、M3DB原理

1.基本概念

• Placement：用于管理M3DB的Topology（拓扑结构），包括IsolationGroup（所在区域）、Node（M3DB节点）、Shard（分片）、Replication（副本）等。
• Namespace：逻辑上的多租户，每个租户可以设置数据过期时间、Block大小等配置。所有租户共享拓扑结构。
• Block：M3DB存储数据的基本单位，将时间长短作为存储大小，例如设置Block大小为2h，则Block内存储2小时的数据。

2.存储引擎

2.1.数据压缩

• M3DB使用M3TSZ算法对Block进行压缩。
• M3TSZ基于Facebook Gorilla算法实现，是一种专用于压缩时序数据的算法，在Uber的生产使用中，一条时序数据会被压缩到1.45bytes，压缩比非常高。

2.2.内存结构

• Database：M3DB进程，一个Database拥有多个Namespace。
• Namespaces：租户，一个Namespace拥有多个Shard。
• Shards：分片，一个Shard拥有多个Series，M3DB会根据Series id的Hash值分配Series到不同的Shards中。
• Series：时序数据（Time series datapoints），数据结构包括id、tags、datapoint（timestamp、value）。Series包括Buffer和Cached blocks。
• Buffer：缓冲区，M3DB会先将时序数据写入Buffer，Flush机制会将Buffer中的数据形成Block，并持久化到磁盘中。
• Cached blocks：缓存，M3DB会缓存部分Block。

2.3.持久化存储结构

• Commit log：日志文件，M3DB的所有写入操作会记录Commit log，用于M3DB启动时加载数据以及灾难恢复。M3DB写入Commit log时，会先写入内存中，由M3DB定时（可配置）批量刷新到磁盘中，所以可能会有Commit log丢失的情况。
• Fileset files：数据文件组，M3DB的Flush机制会将Block写入到Fileset文件中。Fileset包含一组文件，包括Data file（数据文件）、Index file（索引文件）等等。

2.4.读写流程

1)写流程

写入M3DB的时序数据必须指定四个属性：Namespace, Series id, Timestamp, Value。

• M3DB找到Namespace。
• M3DB根据Series id计算Hash值，并找到Shard。
• M3DB将时序数据写入Buffer，并记录Commit log。
• M3DB的Flush机制会定期读取Buffer，并根据Timestamp将满足Block大小的时序数据形成Block（例如Block大小为2h，M3DB会将2小时的数据形成Block）。
• Block形成后，M3DB会用M3TSZ算法压缩Block，压缩后将Block持久化到Fileset files。

2)读流程

读取M3DB的时序数据必须指定四个属性：Namespace，Series id，Timestamp范围。

• M3DB找到Namespace。
• M3DB根据Series id计算Hash值，并找到Shard。
• M3DB会合并Timestamp范围内的Buffer、Block（Cached、Fileset）。
• 合并完成后M3DB返回结果。

3.拓扑结构

3.1.Placement

用于管理M3DB的Topology（拓扑结构），M3DB可以使用Placement扩展移除M3DB节点。基本概念：

• Replication：副本，M3DB可以保存同一份数据的多个副本，保证数据的高可用。
• Shard：分片，一个分片包含一个或多个Replication。分片包含3个状态：
  • Initializing：初始化Shatd，此时无法对Shard进行操作。
  • Available：可用状态，此时可以正常操作Shard。
  • Leaving：移除中。
• Node：M3DB节点，是以IP+Port来区分，一个实例包含一个Replication下的多个Shard。
• IsolationGroup：Node所在的区域分组，保证同一分组下只保存一个Replication。

3.2.IsolationGroup分组

可以按照M3DB实例所在的区域进行分组，多个Replication可以分布到不同的IsolationGroup中，以此实现区域上的高可用：

• 按Rack（机柜）分组：

• 按Zone（机房）分组：

• 按Region（地域）分组：

4.高可用

4.1.一致性等级（Consistency Levels）

M3DB提供连接集群的一致性等级以及读写一致性等级，当Client连接M3DB集群达不到连接一致性等级，则无法进行读写操作。

1)写一致性等级（Write consistency levels）

• One：只需要写一个Node成功，就表示此次操作成功。

• Majority：写大部分Node成功，此次操作才成功。计算Majority的公式为，n代表Node数量，majority=(n+1)/2， 例如n=3，majority=2，表示需要至少有写2个Node成功，此次操作才算成功。

• All：写所有Node成功，此次操作才成功。

2)读一致性等级（Read consistency levels）

• One：只需要读一个Node成功，就表示此次操作成功。
• UnstrictMajority: 首先读大部分Node，如果成功，则此次操作成功，否则会尝试只读一个Node，成功则表示此次操作成功。
• Majority: 读大部分Node成功，此次操作才成功。
• All: 读所有Node成功，此次操作才成功。

3)连接一致性等级（Connect consistency levels）

• Any: M3DB依次尝试按照All、Majority、One三个等级连接，只要有一个成功，则连接成功，否则连接失败。
• None: M3DB始终认为连接是成功的。
• One: 只需要连接一个Node成功，就认为连接成功。
• Majority: 连接大部分Node成功，连接才成功。
• All: 连接所有Node成功，连接才成功。

4)读写一致性组合

• 读UnstrictMajority，写Majority，此为默认组合。例如Node数量为3，写必须满足至少有2个Node写成功，保证大部分Node的数据保持一致，读优先满足至少2个Node读成功，如果失败，则降级，满足一个Node读成功即可，保证集群出现大面积故障时，能尽量提供读服务。监控系统一般使用该组合。
• 读Majority，写Majority。如果对数据一致性要求较高，写成功的数据，必须能读出来，可以使用该组合，当集群出现大面积故障时，M3DB则不提供读写服务。

4.2.灾难恢复

M3DB会在Bootstrap（启动节点）和Repair（后台修复机制）两个阶段恢复数据，并且提供两种恢复数据的方式：

• 基于Commit log恢复数据。
• 当Commit log丢失，从其他Replication中恢复，恢复时遵循一致性等级。