Apache DolphinScheduler 的持续集成方向实践

今天给大家带来的分享是基于 Apache DolphinScheduler 的持续集成方向实践，分享的内容主要为以下六点：

“

• 研发效能

• DolphinScheduler CI/CD 应用案例

• DolphinScheduler 平台下的Serverless 理念

• 基于DolphinScheduler DAG 搭建 CI/CD 流水线的解决方案

• 模块化组装方案的实践案例

• 为什么选择 DolphinScheduler

1 研发效能

效率竖井

• 由局部优化导致，表现为：各个环节和部门繁忙而“高效”，但总体的效率和响应速度却很低。它是研发效能提升的普遍症结所在。(参照:https://developer.aliyun.com/article/687237)

基本介绍

• 一个组织持续快速交付价值的能力，可以从流动效率、资源效率和质量三个方面来衡量。其中流动效率是改进研发效能的核心抓手，它带来系统和全局的改进。

持续集成支撑平台

• 稳定任务平台 - DS

• 可以支持DIY - 脚本

• 可以自定义流程组装逻辑 - DAG

三要素

• 准确(质量)

• 快速(流动+资源)

• 持续(流动+资源)

人员关系

• DevOps：开发人员&测试人员&产品经理

平台要求

• 平台易用性、门槛

• 流程的模块化

• 一个改动即使生效

• 集成测试的模块化

维基百科：DevOps是一组过程、方法与系统的统称，用于促进开发、技术运营和质量保障（QA）部门之间的沟通、协作与整合。

支撑平台的效能

可定制化

• • 降低定制门槛 – 脚本

灵活组装

• • 减少写选择逻辑的可能

快速尝试

• • 复制

  • 删除

  • 增加

2 DolphinScheduler CI/CD 应用场景

场景：

• 集群规模：16台（6master/10worker）

• 每日任务量：task 级别 – 4000+

• 新品-CICD铺设周期：< 0.5 天

• 成品质量提高：80%+（降低线上事故）

• 使用人物：开发、测试、管理者

3 DolphinScheduler 平台下的Serverless 理念

Serverless 无服务架构

• 通过将复杂的服务器架构透明化，使开发者专注于“要做什么”，从而强调了减少开发者对服务器等计算资源的关注、工作粒度从服务器切换到任务的思想

Faas 方法即为服务 – OpenFaaS

4 基于DS DAG 搭建 CI/CD 流水线

脚本即为服务 – 脚本设计方式

• 单一职责：只做一件事

• 解耦：不过分依赖其他模块

• 可配置参数：可以使用全局参数，或者从配置服务中读取参数

• 自检结果：脚本执行结果，就是这件事的结果

脚本即为服务 – 通用性脚本介绍

• 克隆代码

• 镜像编译

• 服务部署

• 特定环境准备

• 容器运行脚本

• 包含特定场景的业务脚本

5 模块化组装方案的实践案例

基于DS DAG 搭建 CI/CD 流水线

• 单模块持续集成配置方式

• 关键字

• • 系统变量

• 全局变量

• 局部变量

• 模板嵌套

• 多模块单模块持续集成配置方式

6 为什么选择 DolphinScheduler

• 支持UI 操作 - 编辑流程

• DAG

• 学习成本、教育成本

• 社区文档

• Java 生态

下面视频是分享演讲: