Apache DolphinScheduler 3.3.0 Alpha发布,功能增强与性能优化大升级!
近期,Apache DolphinScheduler进行了版本更新,发布了3.3.0 alpha版本。Apache DolphinScheduler 3.3.0 alpha版本在任务管理、容错能力、扩展性等方面实现跨越式升级,为大规模工作流调度提供更稳定、灵活的解决方案。但需要提醒的是,此版本为alpha版本,请谨慎更新使用。
立即体验:
此次更新涵盖了大量DSIP(优化提案)、Feature(功能更新)和Improvement(优化),下面是对本次发版重点的简要梳理。
- 版本更新详情请查看Release Note:https://github.com/apache/dolphinscheduler/releases/tag/3.3.0-alpha
DSIP(优化提案)
以下为DolphinScheduler 3.3.0 alpha版本的结构性优化提案,对DolphinScheduler核心功能、架构、性能做出的系统性变更:
连接中心(Connection Center)支持增强
- DSIP-19 系列:支持 Zeppelin、SageMaker、K8s 等连接(@xdu-chenrj)
- DSIP-27:Java 任务插件改进(@ailiujiarui)
审计日志与远程日志优化
- DSIP-24 / 25 / 26 / 57:远程日志与审计日志架构升级与回滚(@pegasas, @qingwli, @SbloodyS)
Master/Task 执行逻辑优化
- DSIP-44 / 54 / 56 / 61 / 67 / 65 / 73 / 87:从线程池调度、任务执行抽象、调度命令机制等多角度优化(@ruanwenjun)
用户体验优化
- DSIP-50 / 51 / 59 / 60 / 62 / 68 / 72 / 78:清理冗余插件、模块、UI 结构统一化(@SbloodyS)
其他
- DSIP-75:自动添加 license header(@ruanwenjun)
- DSIP-70:移除 1.x/2.x 升级代码(@SbloodyS)
- DSIP-38:插件上传/下载 + 依赖优化(@SbloodyS)
Feature(新增功能)
监听与告警
- 增加Listener 机制(#14981)
- 支持 Prometheus AlertManager、Aliyun Voice、HTTP 测试发送(#15079, #15248, #15163)
新插件与集成
- 支持 OceanBase DataX 任务(#16281)
- 支持 EMR Serverless Spark(#16126)
- 支持 Dinky 任务 Prepare Params 传参(#15947)
资源与权限管理
- UI 显示资源路径、Worker Group 权限管理(#16590, #15600)
存储扩展
- 增加腾讯云 COS 存储插件(#16565)
文档增强
- 安全模型文档、安全命名统一(#16609, #16587)
Improvement(改进优化)
⚙ 核心模块与性能
- Master/Worker 线程池、注册中心 zk 超时优化、RPC 重试机制、依赖任务处理优化等(多个 @ruanwenjun PR)
测试覆盖率提升
- 提升 UT、E2E 覆盖率,填补空白测试用例(大量 @abzymeinsjtu PR)
清理与重构
- 移除冗余代码、日志优化、变量命名统一等(多个 @SbloodyS、@caicancai、@Gallardot PR)
部署/文档优化
- 文档 typo 修复、Helm 配置补充、Docker Hub 优化、安装流程优化(多个 @SbloodyS、@Gallardot PR)
Bug Fix(缺陷修复)
本周期修复的问题主要集中在以下几个模块:
调度核心模块:
修复了子工作流在状态为PAUSE
时仍能继续运行的问题(#16564)、依赖任务状态解析异常(#16599)、全局参数未正确传递(#16376)、条件依赖任务状态为WAITING_DEPEND
时调度异常(#16232)等问题,增强了调度的稳定性与正确性。插件相关问题:
修复了 Elasticsearch 插件在使用过程中出现空指针异常的问题(#16107),以及文件插件在多线程下载文件过程中可能出现失败的情况(#16063),提升了插件的健壮性和兼容性。数据源配置问题:
解决了数据源参数未正确识别与解析的问题(#15874),并修复了 MySQL 数据源在部分 JDBC 驱动版本中连接失败的问题(#16376),增强了数据源连接的适配能力。前端展示问题:
修复了权限模块DATASOURCE_CATALOG
的命名错误导致 UI 显示异常(#16590),以及任务状态展示与后端不一致的问题(#16594),提升了前端使用体验。测试用例修复:
修复了因依赖插件异常引发的 E2E 测试失败(#15892),并解决了部分单元测试在特定环境下不稳定的问题(#16120),提升了测试系统的稳定性。
Document(文档改进)
本周期文档更新覆盖了部署指南、贡献者说明和配置文档等多个方面:
安装与部署文档:
更新了 Helm 安装说明,明确了部署步骤、Chart 参数配置,方便用户快速部署(#16604)。贡献者文档:
完善了贡献流程说明,新增了 PR 标题规范、提交流程图,帮助新贡献者更清晰地参与项目开发(#16294、#16125)。配置与使用文档:
补充了任务依赖、数据源配置、告警策略等模块的文档细节(#15972、#16097、#16407),提升了文档的可读性和准确性。
Chore(杂项优化)
Chore 类别的优化集中在 CI 流程、无效模块清理与部分重构方面:
CI/CD 流程优化:
引入 Mock Server 模拟调度执行过程,加快了 E2E 测试速度并提升稳定性(#16030);为多任务并发场景下的调度失败添加了兼容处理(#16139);优化了 CI 执行逻辑并简化了 E2E 执行命令(#16643)。模块清理与结构重构:
移除了部分未使用的旧模块、插件和无效测试代码,简化了代码结构,提升了整体代码清晰度和维护效率(#15973、#16588)。
贡献者名单
本次版本由社区开发者共同推动完成,特别感谢以下核心贡献者(部分名单):
- 阮文俊(PMC成员):主导架构设计与核心功能开发。
- 感谢Gallardot, weideguo等共计71位贡献者对本次版本发布的支持(GitHub ID):
@Blue-Fox、@ZarakiKenpachi、@zhangyongqin、@ironnight、@liuchuo、@yehfan、@CaIShunfeng、@yuxiaoyang-cn、@kongchongming、@MasahiroZhang、@wuxuqiang、@gaoqiang173、@ckeeper97、@twocolds、@hvhye、@liujx0429、@lingkong-jiankong、@jiangm2019、@izukayy、@derryyy、@serpywa、@2rinn、@ilyaszq、@weidaokun、@codenavie、@peijie-liu、@mario27547、@yassirlr、@mingxiaojun、@lixunxd、@wmm2019、@Shawn1997、@nobida、@Chen-lina、@hzytong、@jiangang-huawei、@zhangchaofan、@dongchunlin、@HXT-DAO、@zhaozhichao、@YucongZhu、@onakobayashi、@sdh2110、@laitinglin、@wumomo-npm、@tang-xi、@Maxwell-nz、@bigfrog828、@flarv、@buqiong、@peicongl、@xiayuheng、@kokaokami、@ztust-hsy、@ChengYu-Cloud、@sxt5699、@0d7000、@suxianglong、@one-man-team、@zhouyi0410、@tianxuyuan、@heguanghu、@LotharHuber、@chongxiao-qw、@mcz1988、@windzhe、@linhong-ua、@sunkiming、@nothedream、@kenbliu、@klovejun、@ywq1024、@jianghaitao
参与社区,共建开源生态
欢迎通过以下方式加入社区:
- 邮件讨论:
- 用户组:users@dolphinscheduler.apache.org
- 开发者组:dev@dolphinscheduler.apache.org
- GitHub贡献:提交Issue、修复Bug、参与DSIP提案(仓库列表)。
- 新手任务:社区提供适合初学者的Issue列表,助力快速上手。
Apache DolphinScheduler 3.3.0 Alpha发布,功能增强与性能优化大升级!的更多相关文章
- 重构、插件化、性能提升 20 倍,Apache DolphinScheduler 2.0 alpha 发布亮点太多!
点击上方 蓝字关注我们 社区的小伙伴们,好消息!经过 100 多位社区贡献者近 10 个月的共同努力,我们很高兴地宣布 Apache DolphinScheduler 2.0 alpha 发布.这是 ...
- Apache DolphinScheduler 1.2.0 使用文档(1/8):架构及名词解释
本文章经授权转载,原文链接: https://blog.csdn.net/MiaoSO/article/details/104770720 目录 1. 架构及名词解释 1.1 DolphinSched ...
- Apache Flink 1.9.0版本新功能介绍
摘要:Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink运行时,提供支持流处理和批处理两种类型应用的功能.目前,Apache Flink 1.9 ...
- Apache Dolphin Scheduler 3.0.1 发布,对核心及UI相关进行优化
点亮 ️ Star · 照亮开源之路 GitHub:https://github.com/apache/dolphinscheduler 版本发布 感谢本次的 Release Manager -- ...
- 金融任务实例实时、离线跑批Apache DolphinScheduler在新网银行的三大场景与五大优化
在新网银行,每天都有大量的任务实例产生,其中实时任务占据多数.为了更好地处理任务实例,新网银行在综合考虑之后,选择使用 Apache DolphinScheduler 来完成这项挑战.如今,新网银行多 ...
- php8.0正式版新特性和性能优化学习
前言 PHP团队宣布PHP8正式GA(链接).php的发展又开启了新的篇章,PHP8.0.0版本引入了一些重大变更及许多新特性和性能优化机制.火速学习下~ JIT(Just in Time Compi ...
- Apache DolphinScheduler 1.2.0 task 任务存储结构说明
本文章经授权转载 Table of Contents 任务总体存储 Shell节点 SQL节点 存储过程节点 SPARK节点 MapReduce(MR)节点 Python节点 Flink节点 HTTP ...
- Apache DolphinScheduler 3.0.0 正式版发布!
点亮 ️ Star · 照亮开源之路 GitHub:https://github.com/apache/dolphinscheduler 版本发布 2022/8/10 2022 年 8 ...
- 3.0.0 alpha 重磅发布!九大新功能、全新 UI 解锁调度系统新能力
2022 年 4 月 22 日,Apache DolphinScheduler 正式宣布 3.0.0 alpha 版本发布!此次版本升级迎来了自发版以来的最大变化,众多全新功能和特性为用户带来新的体验 ...
- Apache Kylin v3.1.0 重点功能推介
Apache Kylin v3.1.0 已于上周正式发布,其中包含了许多值得一试的新功能,本文选择了 Presto 查询下压引擎.Flink 构建引擎.Kylin on Kubernetes 解决方案 ...
随机推荐
- Netty与NIO服务器-NIO中的零拷贝
1.什么是零拷贝 一种避免 CPU 将数据从一块存储拷贝到另外一块存储的技术.针对操作系统中的设备驱动程序.文件系统以及网络协议堆栈而出现的各种零拷贝技术极大地提升了特定应用程序的性能,并且使得这些应 ...
- Redis五种数据结构及真实应用场景
前言 如果问你redis有哪些数据结构,你肯定可以一口气说出五种基本数据结构: String(字符串).Hash(哈希).List(列表).Set(集合).zset(有序集合) 你或许还知道它还有三种 ...
- 接口的应用:代理模式(Proxy)
应用场景: 安全代理:屏蔽对真实角色的直接访问. 远程代理:通过代理类处理远程方法调用(RMI) 延迟加载:先加载轻量级的代理对象,真正需要再加载真实对象比如你要开发一个大文档查看软件,大文档中 ...
- Windows中GNURadio的安装
对于一个常常使用Python的人来讲(此处指我),conda环境是必不可少的,(Anaconda或Miniconda). 在Windows中且已经安装过conda环境的情况下,安装GNURadio特别 ...
- python式思辨
设A为条件,B.C为完全相反的结论. KFK:if〈A〉,〈B〉 GLXY:if〈A〉,〈C〉 我不知道为什么会出现这样的结果,也许是我的版本太久没有更新了吧
- [业界方案] 智能运维AIOps-学习笔记
[业界方案] 智能运维-学习笔记 目录 [业界方案] 智能运维-学习笔记 0x00 摘要 0x01 AIOps 背景 1.1 AIOps概述 1.2 AIOps场景 1.3 AIOps能力 1.4 A ...
- oracle之sqlplus删除键不能用
方法一 1.终端命令,临时有效,重连失效 stty erase ^H 2.配置环境变量,永久有效 vi -oracle/.bash_profile stty erase ^H source -orac ...
- 使用iceberg-flink读取iceberg v2表
一.背景 mysql数据入湖后,有同事需要实时抽取iceberg v2表,想通过iceberg做分钟级实时数仓.目前flink社区暂不支持读取v2表.腾讯内部支持 目前只能用Oceanus内置conn ...
- JAVA运算符及实例
JAVA语言支持以下运算符 优先级() 算数运算符:+,-,*,/,%,++,-- 实例1: package operator; public class Demo01 { public ...
- 发那科机器人R2000iC齿轮箱维修方法步骤归纳
一.发那科机器人R2000iC齿轮箱常见故障类型及原因 齿轮磨损:长时间的重载工作或润滑不良可能导致齿轮磨损,表现为噪音增大.振动加剧等. 轴承故障:轴承承受了齿轮箱的径向和轴向载荷,其故障可能导致齿 ...