点亮 ️ Star · 照亮开源之路

GitHub:https://github.com/apache/dolphinscheduler

版本发布

感谢本次的 Release Manager --@zhuangchong,是他主导了我们这个版本的发布流程,引导社区进行版本内容沟通,发版前的问题跟踪,blocking issue 处理,版本质量管理等,感谢@zhuangchong为社区的付出,也期待其他 CommitterPMC 能够一起参与到 Release Manager 的角色中来。

在3.0.0 正式版本发布1个多月之后,期间社区也紧锣密鼓的进行着新版本的迭代的筹备,通过用户访谈对一线的建议、意见反馈进行收集,作为3.0.1版本的核心开发点,我们约谈了多个企业,社区收集了上百条 issue PR近30位贡献者参与,推出了大家期盼已久的3.0.1版本,该版本对于UI以及调度内核做了些许调整,同时也修复了一些3.0.0版本存在的bug,非常欢迎社区的小伙伴参加到社区的共建中。

Release note:

https://github.com/apache/dolphinscheduler/releases/tag/3.0.1

核心相关 Core Related

  • 工作流执行可运行将面临无限循环

  • 升级时提示数据库字段存在问题

  • 普通用户不能创建依赖任务

  • 任务、工作流实例优先级导致 NPE

  • Dependent 下游错误触发

  • 修复工作流实例可能多次故障转移

  • 任务组获取任务状态为运行错误

  • 修复worker 杀任务触发 OOM

UI相关优化 UI-related optimization

  • 工作流列表名称显示重叠

  • 工作流实例不支持运行

  • 数据源修改端口报错

  • 工作实例操作不在同一行

  • 显示工作流名称

资源中心 Resource Center

资源中心 defaultFs 配置失效问题

文档相关 Documentation Related

增加了部分提醒性语言,如上传文档时候的全路径、standalone 默认资源中心的使用;

更正了原本错误的文档,如 工作流相关描述、创建 worker group相关、 python api 跳转链接、部分拼写错误、社区 email slack 链接;

Python API

本次主要增加了python 10 和 python 11-dev 支持,修复了 switch 任务类型,sql 任务 truncate 语法识别错误问题。同时修复了 python api 只有最新版文档的问题

BUG Fix

  • [Improvement][UI] Unified local parameters UI #11190

  • [Fix][UI] Fix bug where icons are displayed in one line. #11320

  • [Improvement-11386][UI] Concise the logic available for task action buttons #11419

  • [Fix][UI] Fix the preTask options are unavailable when creating a tas… #11501

  • S3 Resource center supports bucket customization (#12022)

  • fix status check issue (#11580) (#12030)

  • [LDAP] Config value should return real null instead of 'null' string (#12031)

  • [3.0.1-preapre][cherry-pick]3.0.1 UI (#12020)

  • [Fix][UI] Fix bug where crontab special of month and year #11661

  • [UI] Enable highlight and auto-complete for SQL scripts #11659

  • [Fix][UI] Fix the problem that the pagination component is not centered in the environment management. #11646

  • [Fix][UI] Fix the port in the datasource edit. #11624

  • [Fix][UI] Fix the table header in the workflow instance. #11487

  • [Fix][UI] Fix bug where warn group name not display #11429

  • [Feature-10117][UI] Hide node execution when start from the workflow definition list page #11372

  • [Fix-11366][UI] Workflow instance should not support right-click running #11367

  • [fix-10961][alert server]Change the content of alert to an array (#11033)

  • [Fix][UI] Fix workflow name overlaps bug (#11862) (#12019)

  • [Bug] [Worker] Optimize the getAppId method to avoid worker OOM when kill task (#11994)

  • fix heartBeatTaskCount bug (#12024)

  • Fix kill task failed will cause the taskGroup cannot release and add taskGroup log (#11469) (#12013)

  • Workflow Definition Name Change Validation Optimization. (#11986)

  • add unit test ci timeout (#11655) (#12021)

  • [helm] fix worker template persistentVolumeClaim link (#11248) (#12018)

  • Set master's task running status in runTask to avoid the task group acquire failed, but the task status is in running (#11451) (#12011)

  • [python] Refactor structure to avoid cycle import (#11167)

  • [python] Add support interpreter version 310 and 311-dev (#11170)

  • [bug][python] Fix task switch error when default branch not defined last (#11606)

  • [fix][python] Sql pattern add truncate. (#11666)

  • Add dependent task instance log (#11541) (#12014)

  • If the task processor is not found need to throw error rather than exception (#11461) (#12012)

  • Fix workflow instance may failover many times due to doesn't check the restart time (#11445) (#12010)

  • Fix find last process instance in dependent task is not correct (#11424) (#12009)

  • Fix quartz threadPriority config name error (#11596) (#12015)

  • [Fix-11413] Cannot set task status to kill if the task is not in running(#11414) (#12007)

  • Clear thread name in BaseTaskProcessor (#11422) (#12008)

  • Bug Dependent downstream trigger error when schedule cycle not day. (#11987)

  • [CI] Fix cluster test abnormal (#11688) (#11985)

  • [Improvement-11380][scp-host.sh] Set StrictHostKeyChecking=no option to ssh (#11382) (#11995)

  • optimize the process instance query, change the date time range (#11719) (#11991)

  • [Fix-11051][Task]Fix the process exitValue exception when the process times out and th… (#11099) (#11983)

  • [fix-11404]: make the common.properties to configurable on values.yaml (#11441) (#11967)

  • ][fix-11452][Bug] [Logger Server] Incorrect password regular expression (#11993)

  • Remove logger header in task log file (#11555) (#11968)

  • [Bug] [API] The task priority and process instance priority might be null and cause NPE (#11969)

  • [Bug] [spark-sql] In spark-sql, select both SPARK1 and SPARK2 versions and execute /bin/spark-sql (#11971)

  • Update dolphinscheduler_ddl.sql (#11974)

  • [fix-#11815] fix ck column names contain special characters (#11973)

  • [Bug][Workflow Definition] fix ordinary users can not create depend task (#11961) (#11976)

  • [Fix-11877][UI] Fix the problem that the environment cannot be delete (#11934)

  • [fix-10938]: use dot to replace source and make the default env work in shell (#11937)

  • fix hdfs defaultFs not working (#11823) (#11936)

  • [Quartz] cron did not work as expected (#11932)

  • [Bug] [Master] WorkflowExecuteRunnable will face a infinite loop #11838 #11864 (#11949)

  • [Bug-#11650][worker] #11650 fix SQL type task, stop task does not take effect (#11938)

  • [Fix][db] fix init&upgrade mysql-meta-schema bugs #11887 (#11933)

  • Process definition length too long when copy or import #10621 (#11893)

DOC

  • [Doc] Upgrade license. (#9967)

  • [Doc] Update README. (#9970)

  • [Doc] Fix Doc deadlink in readme (#9972)

  • [Doc] Update the Document picture to new UI (#9953)

  • [Doc] Add example and notice about task type Conditions (#9945)

  • [Doc] Fix Docker link. (#9998)

  • [Doc] Add the description about execute type in SQL task (#9987)

  • [Doc] Add example and notice about task type Dependent (#10001)

  • [Doc] Correct kubernetes (#9985)

  • [Doc] Correct Doc of development-environment-setup (#9995)

  • [Bug][Document] Fix task group management Document link error (#10062)

  • [Fix-10083][Doc]Change Docker cmd && Change WebexTeams Chinese Translation (#10084)

  • [improvement-#11630]fix document about common.properties (#11653)

  • update PyDolphinScheduler documentation link. (#11474)

  • [doc] Correct E2E Doc, fix WorkerGroupPage typo (#11629)

  • Fix homepage email subscription link (#11622)

  • [DOC] should notice that need setting the full path when call the resource file #11620 (#11621)

  • [Doc][Bug] Fix resource center docs for standalone mode (#11600)

  • feat: update slack (#11578)

  • [Improvement-11550] [Doc]Document content update (#11577)

  • [Doc][Security] Update instructions on worker groups (#11483)

  • [Doc][DSIP] Move DSIP docs to the right place (#11442) (#11443)

  • [Doc][Resources] Instruct users to use local storage if they have remote storage mounted to local (#11435)

  • feat: Modifying Slack Links (#11416)

  • [python] Add multiple version of document (#11391)

  • [doc] Refine the deployment documentation (#11361)

  • [Fix-11217] [Doc] add postgresql config in doc: datasource-setting (#11326)

  • [doc] Improve the document introduction of complement (#11275)

  • [DOC] improve zk digest doc (#11703) (#11992)

  • [Doc] Remove re-upload file function in the 3.0.0's doc (#11804) (#11984)

  • [doc] Add how obtain IP address from network card in FAQ (#11311) (#11982)

  • fix doc about sub-process's child node describe (#11972)

  • [fix][doc] Update the registry related configuration in values.yaml (#11444) (#11980)

致谢 Acknowledgement

感谢所有 3.0.1 版本的贡献者(按首字母排序),是你们的不懈努力让社区不断进步

106umao、Amy0104、ChrisYuan、DarkAssassinator、EricJoy2048、EricGao888、HeZean、JinyLeeChina、MonsterChenzhuo、SbloodyS、WangJPLeo、abzymeinsjtu、devosend、fengjian1129、fuchanghai、guodongym、hiSandog、huage1994、insist777、jackfanwan、jieguangzhou、labbomb、limaiwang、liqingwang、lishiyucn、luoyedeyi、rickchengx、ruanwenjun、shangeyao、sketchmind、songjianet、stalary、wendongdi、yutianaiqingtian、zhangshuocn、zhongjiajie、zhuangchong、zhuxt2015

最后非常欢迎大家加入 DolphinScheduler 大家庭,融入开源世界!

我们鼓励任何形式的参与社区,最终成为 Committer 或 PMC,如:

  • 将遇到的问题通过 GitHub 上 issue 的形式反馈出来。

  • 回答别人遇到的 issue 问题。

  • 帮助完善文档。

  • 帮助项目增加测试用例。

  • 为代码添加注释。

  • 提交修复 Bug 或者 Feature 的 PR。

  • 发表应用案例实践、调度流程分析或者与调度相关的技术文章。

  • 帮助推广 DolphinScheduler,参与技术大会或者 meetup 的分享等。

欢迎加入贡献的队伍,加入开源从提交第一个 PR 开始。

  • 比如添加代码注释或找到带有 ”easy to fix” 标记或一些非常简单的 issue(拼写错误等) 等等,先通过第一个简单的 PR 熟悉提交流程。

注:贡献不仅仅限于 PR 哈,对促进项目发展的都是贡献。

相信参与 DolphinScheduler,一定会让您从开源中受益!

参与贡献

随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。

参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:

贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689

非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A"volunteer+wanted"

如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html

来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。

参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。

添加小助手微信时请说明想参与贡献。

来吧,开源社区非常期待您的参与。

Apache Dolphin Scheduler 3.0.1 发布,对核心及UI相关进行优化的更多相关文章

  1. Apache Dolphin Scheduler - Docker Compose 详解

    Apache DolphinScheduler 是一个分布式去中心化,易扩展的可视化 DAG 工作流任务调度系统.简称 DS,包括 Web 及若干服务,它依赖 PostgreSQL 和 Zookeep ...

  2. Apache Dolphin Scheduler - Dockerfile 详解

    Apache DolphinScheduler 是一个分布式去中心化,易扩展的可视化 DAG 工作流任务调度系统.简称 DS,包括 Web 及若干服务,它依赖 PostgreSQL 和 Zookeep ...

  3. PHPRAP 1.0.2 发布,修复安装失败 Bug 和优化细节

    PHPRAP,是一个PHP轻量级开源API接口文档管理系统,致力于减少前后端沟通成本,提高团队协作开发效率,打造PHP版的RAP. 更新记录 [修复]修复在MySQL5.5版本下安装数据初始化sql文 ...

  4. Dolphin Scheduler 1.1.0升级1.2.0避坑指南

    本文章经授权转载 组件介绍 Apache Dolphin Scheduler是一个分布式易扩展的可视化DAG工作流任务调度系统.致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开 ...

  5. Dolphin Scheduler 1.2.0 部署参数分析

    本文章经授权转载 1 组件介绍 Apache Dolphin Scheduler是一个分布式易扩展的可视化DAG工作流任务调度系统.致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程 ...

  6. Dolphin Scheduler秒级别工作流异常处理

    本文章经授权转载 1 组件介绍 Apache Dolphin Scheduler是一个分布式易扩展的可视化DAG工作流任务调度系统.致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程 ...

  7. Apache HttpComponents Client 4.0快速入门/升级-2.POST方法访问网页

    Apache HttpComponents Client 4.0已经发布多时,httpclient项目从commons子项目挪到了HttpComponents子项目下,httpclient3.1和 h ...

  8. Apache Storm 1.1.0 发布概览

    写在前面的话 本人长期关注数据挖掘与机器学习相关前沿研究.欢迎和我交流,私人微信:846731084 我自己测试了一下这个版本,总的来说更加稳定,新增的特性并没有一一测试,仅凭kafk-client来 ...

  9. Apache Flume 1.7.0 发布,日志服务器

    Apache Flume 1.7.0 发布了,Flume 是一个分布式.可靠和高可用的服务,用于收集.聚合以及移动大量日志数据,使用一个简单灵活的架构,就流数据模型.这是一个可靠.容错的服务. 本次更 ...

随机推荐

  1. 只会Excel想做图表可视化,让数据动起来?可以,快来围观啦(附大量模板下载)

    前言 之前我们分享过基于echarts 的数据可视化展示,很多朋友就说,不会软件开发,可不可以直接用Excel进行数据化的展示. 答案是肯定的,确实有这种方案,百度查询一查一大推,各种解决方案各种模板 ...

  2. 四边形不等式优化 dp (doing)

    目录 1. 四边形不等式与决策单调性 2. 决策单调性优化 dp - (i) 关于符号 1. 四边形不等式与决策单调性 定义(四边形不等式) 设 \(w(x,y)\) 是定义在整数集合上的二元函数,若 ...

  3. Python logging日志管理

    import logging logger = logging.getLogger("simple_example") logger.setLevel(logging.DEBUG) ...

  4. if条件控制语句和switch语句

    if条件控制语句(判断范围,在一定区间内容进行判断) if 如果(第一个条件) else if 如果(第二个条件 可以无限加) else 否则(只能有一个 上面都不满足的情况下进入) if和else ...

  5. Apache DolphinScheduler 1.2.0 task 任务存储结构说明

    本文章经授权转载 Table of Contents 任务总体存储 Shell节点 SQL节点 存储过程节点 SPARK节点 MapReduce(MR)节点 Python节点 Flink节点 HTTP ...

  6. java-RandomAccessFile操作以及IO流简单使用

    1.1RandomAccessFile--使用RAF读写基本类型数据,以及了解Raf的指针操作 write有相对应的写入基本类型的方法 void seek(Long pos)调整RAF指针位置,可以在 ...

  7. 【小白必看】Redis手把手教你从零开始下载到安装,再到配置允许图形化工具远程连接(一)

    一.Redis安装 本文暂时仅介绍Windows环境下Redis的安装. 由于Windows环境下没有.exe安装文件,这里我们使用"曲线救国"的.msi安装包帮助我们一站式解决安 ...

  8. KingbaseES V8R6集群外部备份案例

    案例说明: 本案例采用sys_backup.sh执行物理备份,备份使用如下逻辑架构:集群采用CentOS 7系统,repo采用kylin V10 Server. 一主一备+外部备份 此场景为主备双机常 ...

  9. 部署Zabbix4.0和Grafana

    部署Zabbix4.0和Grafana 一.Zabbix 1.安装 rpm -Uvh https://repo.zabbix.com/zabbix/4.0/rhel/7/x86_64/zabbix-r ...

  10. 使用 MAUI 在 Windows 和 Linux 上绘制 PPT 的图表

    我在做一个图表工具软件,这个软件使用 MAUI 开发.我的需求是图表的内容需要和 PPT 的图表对接,需要用到 OpenXML 解析 PPT 内容,读取到 PPT 图表元素的内容,接着使用 MAUI ...