计算引擎-Presto

概述

参考

高质量：

• B站：https://mp.weixin.qq.com/s/9_lSIFSw5o8sFC8foEtA7w
• https://mp.weixin.qq.com/s/NmTaJjE0UqYHh2Q4_HqSog
• meta实践Prestissimo：https://mp.weixin.qq.com/s/5mswJXHOo9jQa4h9zTMDyg
• k8s部署：https://mp.weixin.qq.com/s/Yo3FWum-_lZtn7DUkCzxkw
• meta的velox：https://www.qtmuniao.com/2023/03/22/velox-task-analysis/
• https://zhuanlan.zhihu.com/p/614918289

其他：

• https://mp.weixin.qq.com/s/zqZkFttSndDgkVJdC7XzHQ

技术架构

执行流程

coordinator 收到作业后通过 sql 解析器对作业进行解析生成语法树， LogicPlanner 再对语法树进行语义分析，将 AST 转为逻辑执行计划，同时使用优化器进行优化。接着通过 DistributedPlanner 将计划进行切分生成多个 stage，stage 内部划分为多个 task， 通过 scheduler 将多个 task 分发到不同的 worker 上执行。由于Presto 本身不存储数据，需要通过多个connector 来访问不同数据源的数据。