Apache DolphinScheduler 架构演进介绍及开源经验分享

引言

来自 eBay 的文俊同学在近期的上海开源大数据 Meetup 上做了十分精彩的 “Apache DolphinScheduler 的架构演进” 分享。本次分享有近 200 人参与，在线观看次数超过 2,500 次

图为现场

分享视频请参见

Apache DolphinScheduler 介绍

Apache DolphinScheduler 是一个云原生的分布式去中心化，易扩展的可视化 DAG 工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。DolphinScheduler 以有向无环图的方式将任务连接起来，可实时监控任务的运行状态，同时支持取消、暂停、恢复、从指定任务节点重跑等操作。

DolphinScheduler 具有以下几个优良功能特性：

Cloud Native — 支持多云/数据中心工作流管理，也支持 Kubernetes、Docker 部署和自定义任务类型，分布式调度，整体调度能力随集群规模线性增长

高可靠与高可扩展性 — 去中心化的多 Master 多 Worker 设计架构，支持服务动态上下线，自我容错与调节能力

支持多租户

丰富的使用场景 — 包括流、暂停、恢复操作，以及额外的任务类型，如 Spark、Hive、MR、Shell、Python、Flink 以及 DS 独有的子工作流、任务依赖设计，扩展点采用插件化的实现方式

简单易用 — 所有流程定义操作可视化编排，定义关键信息一目了然，一键部署

关于 DolphinSheduler 更多功能介绍和开发文档请查阅官网详细信息 https://dolphinscheduler.apache.org/zh-cn/。

架构演进过程

1.2.x 架构

DolphinScheduler 最初进入 Apache 孵化器的版本是 1.2，在这一版本中采用的架构由以下几个重要部分组成：

去中心化的 master 节点，负责工作流调度、DAG 任务切分、任务提交监控和监听其它节点健康状态等任务
去中心化的 worker 节点，负责执行任务和维护任务的生命周期等
数据库，存储工作流元数据，运行实例数据
Zookeeper，主要负责注册中心、分布式锁、任务队列等工作任务

1.2 版本基本实现了高可靠的工作流调度系统，但是也存在多个问题：

重量级的 worker，worker 节点需要负责多种任务
异步派发任务会导致任务执行延迟
由于 masker 和 worker 都需要依赖数据库，导致数据库压力大

1.3.x 架构

针对 1.2 版本存在的问题，1.3 架构进行了如下改进：

去任务队列，保证 master 节点同步派发任务，降低任务执行延迟
轻量级 worker，worker 节点只负责执行任务，单一化 worker 职责
减小数据库压力，worker 不再连接数据库
采用多任务负载均衡策略，master 根据 worker 节点资源使用情况分配任务，提高 worker 资源利用率

这些改进有效改进了 1.2 版本的缺陷，但仍存在一些问题，例如：

master 调度工作流时需要依赖分布式锁，导致工作流吞吐量难以提升
因为需要创建大量线程池，多数线程处于轮询数据库，导致 master 资源利用率低
master 轮询数据库，仍然导致数据库压力大
各组件存在耦合情况

2.0 架构

针对 1.3 版本的缺陷，2.0 架构进一步做出以下改进：

去分布式锁，对 master 进行分区编号，实现错位查询数据库，避免多个节点同时访问同一个工作流造成的冲突问题
重构 master 线程模型，对所有工作流使用统一的线程池
重构数据库中 DAG 元数据模型
彻底的插件化，所有扩展点都采用插件化实现
数据血缘关系分析

1 去分布式锁

2 重构 master 中的线程模型

SchedulerThread 负责从数据库中查询 Command 并提交到 Command Queue
DagExecuteThreadPool 从 Command Queue 中取 command，并构造 DAG实例添加到 DAG 队列，进行处理，当前 DAG 没有未执行的任务，则当前 DAG 执行结束
TaskExecuteThreadPool 提交任务给 Worker
TaskEventThread 监听任务事件队列，修改任务状态

3 彻底的插件化

所有扩展点都采用插件化实现

告警SPI
注册中心SPI
资源存储SPI
任务插件SPI
数据源SPI
……

Apache DolphinScheduler 发展方向

文俊针对 DolphinScheduler 的未来发展方向，也分享了一些看法：

系统更稳、速度更快（高吞吐、低延迟、智能化运维、高可用）
支持更多的任务集成（深度学习任务、CI/CD等其它系统集成、存储过程和数据质量任务、容器调度任务、复杂调度场景等）
轻量化 DolphinScheduler 内核，提供基础调度服务

如何参与开源贡献

最后，开发者阮文俊针对入门新手如何参与开源贡献的问题，提出了宝贵的指导意见：

从小事做起，积累开发经验
关注社区动态，积极参与讨论，更好融入社区
坚持开源精神，乐于帮助他人
保持持之以恒的开发和贡献心态

分享讲师：阮文俊，eBay 开发工程师，DolphinScheduler 深度贡献者，开源深度玩家

编辑：徐玮毅，天津大学 2018 级计算机科学与技术本科生，热爱编程，开拓进取。本文是第一次参与 DolphinScheduler 社区的开源工作，希望能逐渐积累经验，继续为社区作出更大贡献！

点击阅读原文，加入官方 Slack 讨论群也欢迎关注推特: https://twitter.com/DolphinSchedule