Doris

Doris

基本概念

Doris 是基于 MPP 架构的交互式 SQL 数据仓库，主要用于解决近实时的报表和多维分析。

Doris 分成两部分 FE 和 BE ，FE 负责存储以及维护集群元数据、接收、解析、查询、设计规划整体查询流程，BE 负责数据存储和具体的实施过程。

在 Doris 的存储引擎中，用户数据被水平划分为若干个数据分片（Tablet，也称作数据分桶）。每个 Tablet 包含若干数据行。多个 Tablet 在逻辑上归属于不同的分区 Partition。一个 Tablet 只属于一个 Partition。而一个 Partition 包含若干个 Tablet。Tablet 是数据移动、复制等操作的最小物理存储单元。

原理解析

SQL解析

SQL解析在这篇文章中指的是将一条 sql 语句经过一系列的解析最后生成一个完整的物理执行计划的过程。

这个过程包括以下四个步骤：词法分析，语法分析，生成逻辑计划，生成物理计划。

1. 词法分析：将字符串形式的 sql 识别成一个个 token，为语法分析做准备。

2. 语法分析：语法分析主要负责根据语法规则，将词法分析生成的 token 转成抽象语法树（Abstract Syntax Tree）。

1. 逻辑计划：逻辑计划负责将抽象语法树转换为代数关系。代数关系是一棵算子树，每个节点代表一种对数据的计算方式，整棵树代表了数据的计算方式和流动方向。

1. 物理计划：物理计划是在逻辑计划的基础上，根据机器的分布，数据的分布，决定去哪些机器上执行哪些计算操作。Doris 系统的 SQL 解析也是采用这些步骤，只不过根据 Doris 系统结构的特点和数据的存储方式，进行了细化和优化，最大化发挥机器的计算能力。

设计目标

Doris SQL解析架构的设计有以下目标：

1. 最大化计算的并行性

2. 最小化数据的网络传输

3. 最大化减少需要扫描的数据

总体架构

Doris SQL解析具体包括了五个步骤：词法分析，语法分析，生成单机逻辑计划，生成分布式逻辑计划，生成物理执行计划。

具体代码实现上包含以下五个步骤：Parse, Analyze, SinglePlan, DistributedPlan, Schedule。

Parse 阶段本文不详细讲，Analyze 负责对 AST 进行前期的一些处理，SinglePlan 根据 AST 进行优化生成单机查询计划，DistributedPlan 将单机的查询计划拆成分布式的查询计划，Schedule 阶段负责决定查询计划下发到哪些机器上执行。

注：AST 抽象语法树 Abstract Syntax Tree

由于SQL类型有很多，本文侧重介绍查询 SQL 的解析。

下图展示了一个简单的查询 SQL 在 Doris 的解析实现。

Parse阶段

词法分析采用 jflex 技术，语法分析采用 java cup parser 技术，最后生成抽象语法树（Abstract Syntax Tree）AST，这些都是现有的、成熟的技术，在这里不进行详细介绍。

AST 是一种树状结构，代表着一条 SQL。不同类型的查询 select, insert, show, set, alter table, create table 等经过 Parse 阶段后生成不同的数据结构（SelectStmt, InsertStmt, ShowStmt, SetStmt, AlterStmt, AlterTableStmt, CreateTableStmt等），但他们都继承自 Statement，并根据自己的语法规则进行一些特定的处理。例如：对于 select 类型的 sql，Parse 之后生成了 SelectStmt 结构。

SelectStmt 结构包含了 SelectList，FromClause，WhereClause，GroupByClause，SortInfo等结构。这些结构又包含了更基础的一些数据结构，如 WhereClause 包含了 BetweenPredicate（between表达式），BinaryPredicate（二元表达式），CompoundPredicate（and-or组合表达式），InPredicate（in表达式）等。

AST 中所有结构都是由基本结构表达式 Expr 通过多种组合而成，如下图所示。

Analyze阶段

文档勘误

1. 透明 -> 不透明

链接

1. 一下 -> 以下

链接