导读:近日,Apache Dolphin Scheduler 迎来了 3.0.0-beta-1 版本的正式发布。新版本主要针对 3.0.0-alpha 进行了代码和文档的修复,并引入了部分的功能,如支持 FlinkSQL 任务类型,新增 Zeppelin 任务类型,新增 Kubernetes namespace 管理功能,以及通过 bash 传参功能等,具体更新详见下文。

01 新功能

支持 FlinkSQL 任务类型

在该版本中,我们扩展了 Flink 任务类型,使其支持运行 Flink SQL 任务,其使用 sql-client.sh 提交任务。

更多详情查看:

flink sql client](https://nightlies.apache.org/flink/flink-docs-master/docs/dev/table/sqlclient/)

对应 PR:9840

【链接】

https://github.com/apache/dolphinscheduler/pull/9840

新增 Zeppelin 任务类型

在该版本中,我们增加了 Zeppelin 任务类型,用于创建并执行 Zeppelin 类型任务。Worker 执行该任务时,会通过 Zeppelin Cient API 触发 Zeppelin Notebook 段落。

PR:9810

【链接】

https://github.com/apache/dolphinscheduler/pull/9810

新增 Kubernetes namespace 管理

该版本新增了 kubernetes namespace 管理功能,允许用户在 Apache DolphinScheduler 中管理 Kubernetes 的 namespace。

PR:9303

【链接】:

https://github.com/apache/dolphinscheduler/pull/9303

新增通过shell组件获取本地参数

新版本还新增了通过 bash 传参的功能,如果你想在下游任务中使用 bash 变量而不是常量值 export 参数,你可以在通过 setValue 和 Bash 变量实现,它更加灵活,可以让你动态地获取现有的本地或 HTTP 资源 获取设定变量。

可以使用类似的语法:

PR:9586

【链接】

https://github.com/apache/dolphinscheduler/pull/9586

允许用户上传没有后缀的文件

之前资源中心只能上传有后缀的文件,在 3.0.0-beta-1 版本后,我们支持用户上传没有后缀的文件。

02 Bug Fix

  • 3.0.0-alpha 各个部署方式出现的问题

  • 任务组为空时页面报错问题

  • treemap 视图深度错误问题

  • 告警信息不明确问题:告警组为空时报错信息不明确,批量删除工作流有异常时报错信息不明确,租户内容错长的错误提示,删除

  • 参数校验问题:数据源中心的参数校验问题,修改密码时密码不一致提示,发告警前校验 alert script

  • Python api:不能设置 release state 问题,本地参数有值但是校验失败问题

  • token 查询不遵循时区问题

  • 修复 HTTPS 和 HTTP 字符串识别问题

  • 修复 alert server 健康监测失效问题

  • 修复 condition 任务分支失败问题

  • 修复 docker 镜像不支持多平台问题

  • 修复带有任务组优先级的工作流创建时不能正确写数据库的问题

  • master 任务的失效问题

  • 修复串行等待不运行的问题

  • 时区问题:调度时区错误问题,日志增加时区支持

  • 重新运行、暂停工作流实例失败问题

  • 资源中心实例化失败问题

03 文档修改

  • 更正部署文档

  • 修复、更新部分使用文档:WebexTeams 中文文档,本地参数、全局参数文档,Kubernetes FAQ 文档,Spark 注意事项文档,DataX 使用文档,删除 Flink API 文档,修复 open-api 的错误,修复数据质量中的错误文档;新增 stand-alone 切换数据库文档;新增 shell 中判断 Yarn 运行状态文档;新增更新系统截图

  • 更正部分开发文档:明确支持的操作系统,修复开发环境搭建文档,新增自己构建 docker 镜像文档

04 具体修改

可以在:https://github.com/apache/dolphinscheduler/releases/tag/3.0.0-beta-1 中找到全部修改记录。

05 感谢 3.0.0-beta-1 版本贡献者

Amy0104, BaoLiang, caishunfeng, calvin, chuxing, czeming, Dannila, Devosend, Eric Gao, exmy, gaojun2048, guoshupei, HeChuan, hstdream, jiachuan.zhu, Jiajie Zhong, JinYong Li, Kerwin, kezhenxu94, labbomb, leiwingqueen, lidongdai, litiliu, LongJGun, longtb, Lyle Shaw, mans2singh, mazhong, Mr.An, naziD, nobolity, Paul Zhang, PJ Fanning, qianli2022, QuakeWang, rockfang, songjianet, sparklezzz, sq-q, Town, Tq, WangJPLeo, wangyang, worry, wqxs, xiangzihao, yimaixinchen, youzipi, zhuxt2015, zixi0825, 陈家名, 陈爽, 旺阳

Apache Dolphinscheduler3.0.0-beta-1 版本发布,新增FlinkSQL、Zeppelin任务类型的更多相关文章

  1. Percona Server 5.6.13-61.0 首个 GA 版本发布

    Percona Server 5.6 的首个 GA 版本发布了,版本号是 5.6.13-61.0 ,该版本基于 MySQL 5.6.13 改进内容包括: New Features: Percona S ...

  2. Python 3.9.0 首个迭代版本发布了

    Python 3.9.0 alpha 1 发布了,这是 3.8 之后的首个 3.9 系列版本. ! 官方没有介绍新特性,也没有添加新模块,但是以下模块有所改进: ast asyncio curses ...

  3. 物联网操作系统HelloX V1.77(beta)版本发布

    物联网操作系统HelloX V1.77发布 经过近半年的努力,物联网操作系统HelloX V1.77版本正式完成,源代码已上载到github(github.com/hellox-project/Hel ...

  4. apache hbase 发布1.0.0版本

    今天apache发布了最新的hbase 1.0.0,下图是版本变迁历史: 详情参考: https://blogs.apache.org/hbase/entry/start_of_a_new_era

  5. 【Phylab2.0】Beta版本发布说明

    新版本特性 1. 新的物理实验 1020314等 2. 讨论区与报告界面的整合 3. 在线脚本管理功能 4. 管理员功能 有在线脚本管理功能的支持后加入了管理员模式,可以向其他学校开放,招募管理员并添 ...

  6. FineUI v4.0.3 (beta) 和 FineUI v3.3.3 发布了!

    关于FineUI基于 ExtJS 的开源 ASP.NET 控件库 FineUI的使命创建 No JavaScript,No CSS,No UpdatePanel,No ViewState,No Web ...

  7. FineUI v4.0.2 (beta) 发布了!

    FineUI v4.0.2 (beta) 已经于 2013-12-15 发布! ================================== 关于FineUI基于 ExtJS 的开源 ASP. ...

  8. 意料之外,情理之中,Spring.NET 3.0 版本发布-

    意料之外,情理之中,Spring.NET 3.0 版本发布- 备受社区和企业开发者广泛关注的Spring.NET在上周发布了3.0版本,并且目前已经保持着持续的更新,让我们一起来看一看他究竟发布了哪些 ...

  9. Kafka 1.0版本发布

    Kafka 1.0版本发布 1.0.0 2017年11月1日发布 源码下载: kafka-1.0.0-src.tgz(asc,sha512) 二进制下载: Scala 2.11 - kafka_2.1 ...

随机推荐

  1. 【Java面试】简述一下你对线程池的理解?

    到底是什么面试题, 让一个工作了4年的精神小伙,只是去参加了一场技术面试, 就被搞得精神萎靡.郁郁寡欢! 这一切的背后到底是道德的沦丧,还是人性的扭曲. 让我们一起揭秘一下这道面试题. 关于, &qu ...

  2. yolov1学习笔记

    yolov1学习笔记 yolov1将目标检测归为一个回归问题,具有real-time的特点.局限性是:对于群体性的小目标检测效果很差. 论文概括 本文重新构造目标检测作为一个回归问题. 直接输入图像到 ...

  3. CoaXPress 是如何只用一条线缆实现双向传输和供电的

    这是个很有意思的事情,CoaXPress的全双工双向数据传输.且供电只需要一条同轴线缆,这个原理对其它串行接口的设计是非常有参考价值的,尤其是对线缆长度.数量有严格要求的场合,一条同轴线缆走天下,不要 ...

  4. Eureka高可用集群搭建

    就是搭建Eureka的集群. 每个Eureka Server需要相互注册,确保数据一致. 我这里准备两个Eureka Server  他两的POM文件配置是一样的 <dependencies&g ...

  5. 国外卡组织的 交换费-interchangefee(发卡行服务费) 和 银联对比

    本文地址:https://www.cnblogs.com/hchengmx/p/15170391.html 1. 交换费(interchangefee)介绍 2. MasterCard 万事达卡 &a ...

  6. VR技术赋能五大领域,不止高级,更高效!

    除了VR游戏.VR影视作品,究竟还有哪些产业领域会应用到VR技术并为生活带来改变呢?今天就帮大家好好梳理一下~ VR赋能交通,不只是高级 最近在网上看到了VR考驾照的新闻,网友都赞叹,现在学车都这么高 ...

  7. uniapp使用scroll-view与swiper组件实现tab滑动切换页面需要注意的问题

    效果图: tab栏可以滑动,切换页面跟随tab栏同步滑动.这里需要注意的是使用swiper组件时,它会有一个默认的高度,你必须动态的获取数据列表的高度覆盖原来的默认高度. 下面是代码 html < ...

  8. python+anaconda+pycharm的使用

    研一开学的时候开始接触了这些,但是对于其各种功能感到十分混乱,现在通过这篇博文将其功能详细的写出来. 1.python解释器 首先要了解python解释器,我们俗称的下载python也就是下载pyth ...

  9. hadoop MapReduce运营商案例关于用户基站停留数据统计

    注 如果需要文件和代码的话可评论区留言邮箱,我给你发源代码 本文来自博客园,作者:Arway,转载请注明原文链接:https://www.cnblogs.com/cenjw/p/hadoop-mapR ...

  10. js 表面学习 - 认识事件

    事件 描述 onchange HTML 元素已被改变 onclick 用户点击了 HTML 元素 onmouseover 用户把鼠标移动到 HTML 元素上 onmouseout 用户把鼠标移开 HT ...