Apache DolphinScheduler 4月简报:社区发展与技术革新速递
各位热爱 DolphinScheduler 的小伙伴们,4 月份的 DolphinScheduler 社区月报更新啦!这里将记录 DolphinScheduler 社区每月的重要更新,欢迎关注!
月度 Merge 之星
感谢以下小伙伴 4 月为 Apache DolphinScheduler 所做的精彩贡献(排名不分先后):
@alei1206,@caishunfeng,@qingwli,@sdhzwc,@ruanwenjun,@pegasas,@songwenyong,@privking,@zhongjiajie,@xinxingi,@Gallardot,@abzymeinsjtu,@DaqianLiao,@atjiucheng,@calvinjiang,@xxzuo,@pinkfloyds
apache/dolphinscheduler功能更新及优化
Fix
- [FIX]修复无法恢复已停止实例的问题 @privking
- [Hotfix]修复dsip名称 @ruanwenjun
- [Fix-15866][Doc]更新淘宝npm镜像地址 @xxzuo
- [Bug][Helm]修复 image.registry @Gallardot
- [Bug]在初始化模式下,QUARTZ表的顺序不正确。 @ruanwenjun
- [Fix-15706]SeaTunnel的优化 @xinxingi
- [Fix-15787]重用代码,解决...中复杂SQL解析异常的问题。 @xinxingi
- [Bug] [Common]修复common.properties中的拼写错误 @pegasas
- [Fix]将cpuUsage拆分为systemCpuUsage和jvmCpuUsage。 @ruanwenjun
- [Bug]修复依赖任务逻辑 @abzymeinsjtu
Improve
- [Improvement-15919][datasource]优化数据源获取名称 @sdhzwc
- [Improvement-15910][UI]假设在并行执行模式下,应为自定义并行度提供一个默认值。 @calvinjiang
- [Improvement]修复警报代码异味 @qingwli
- [Improvement][Audit]将时间改为创建时间 @qingwli
- [Improvement][Api]删除无用的batchUpdateUdfFunc方法 @qingwli
- [Improvement]将python-gateway的默认设置改为false。 @pinkfloyds
- [Improvement]检查异常字符 @pinkfloyds
- [Improve]修正
ProcessServiceImpl中的拼写错误 @qingwli - [improvement-15760][datasource-plugin]修复SQL任务拆分错误#15760 @songwenyong
- [Improvement]添加完整资源名称检查 @caishunfeng
- [Improvement-15744][parameter]项目参数添加更新时间及更新用户ID @sdhzwc
- [Improvement-15713][api]数据源和UDF函数的列表查询应使用枚举代码值,而不是顺序号。 @songwenyong
- [Improvement][Spark]支持本地Spark集群 @pegasas
Others
- [TEST]增加项目偏好的服务测试覆盖率 @abzymeinsjtu
- [DSIP-34]将 required_approving_review_count 设置为 2 @ruanwenjun
- 并发修复自动创建tennant可能会导致任务失败。 @ruanwenjun
- 在Java任务中,jar路径不正确。 @ruanwenjun
- [TEST]增加项目参数服务测试的覆盖率 @abzymeinsjtu
- 使用workerNodeInfoWriteLock更新工作节点信息 @DaqianLiao
- [DSIP-32][Master]为master拉取命令添加获取策略 @ruanwenjun
- 修复 kill 动态任务不会终止等待运行的工作流实例 @ruanwenjun
- [DSIP-31]减少Hikari连接池的大小 @ruanwenjun
- 修复了queryByTypeAndJobId可能因返回结果过多而引发的错误。 @ruanwenjun
- 重構記錄审计日志的邏輯 @qingwli
- [DSIP-28]不要扫描classpath下的整个项目bean。 @ruanwenjun
- 添加DSIP模版 @ruanwenjun
- [TEST]增加日志服务的覆盖率 @abzymeinsjtu
- 修复写入审计日志的错误会导致请求失败。 @ruanwenjun
- 修复 JDBC 注册表无法工作。 @ruanwenjun
- 将SSH心跳类型更改为.IGNORE @ruanwenjun
- Apache SeaTunnel中,禁止在运行中的工作流实例中强制完成任务实例。 @ruanwenjun
- 将进程ID绑定到CodeGenerator的构建过程中 @ruanwenjun
- 修复ErrorCommand在Command中丢失了一些字段 @ruanwenjun
- [TEST]增加环境服务的覆盖范围 @abzymeinsjtu
- 移除未使用的咖啡因缓存 @ruanwenjun
- 无法构建StreamingTaskTriggerResponse的实例。 @atjiucheng
- [TEST]增加数据源服务的覆盖范围 @abzymeinsjtu
- [TEST]预警插件实例服务的覆盖率增加 @abzymeinsjtu
- 从dolphinscheduler-task-dataquality中移除dolphinscheduler-data-quality @ruanwenjun
- 直接使用Quartz的API来初始化一个调度任务。 @ruanwenjun
- [DSIP-24][RemoteLogging]支持 AbsRemoteLogHandler @pegasas
- [Worker]修复了一个问题,即在停止远程shell任务时,不会意外杀死远端的子进程#15570 @alei1206
- [DSIP-26][Audit log]审计日志改进设计 @qingwli
apache/dolphinscheduler-sdk-python仓库功能更新与优化
- 这个问题与Apache SeaTunnel的兼容性和最新版本有关。 @zhongjiajie
- [ 这个问题是关于更新 setup-python 时遇到不支持的版本。在中文中,这可以表示为:"遇到 setup-python 不支持的旧版本,需要更新。" ]( https://github.com/apache/dolphinscheduler-sdk-python/pull/143 " 这个问题是关于更新 setup-python 时遇到不支持的版本。在中文中,这可以表示为:"遇到 setup-python 不支持的旧版本,需要更新。" ") @zhongjiajie
apache/dolphinscheduler-website
Improve
- [Improvement]添加建议使用的稳定版本 @xxzuo
本文由 白鲸开源 提供发布支持!
Apache DolphinScheduler 4月简报:社区发展与技术革新速递的更多相关文章
- 感谢有你!Apache DolphinScheduler 项目 GitHub star 突破 8k
本周伊始,Apache DolphinScheduler 项目在 GitHub 上的 Github Star 总数首次突破 8K.目前,Apache DolphinScheduler 社区已经拥有 C ...
- 金融任务实例实时、离线跑批Apache DolphinScheduler在新网银行的三大场景与五大优化
在新网银行,每天都有大量的任务实例产生,其中实时任务占据多数.为了更好地处理任务实例,新网银行在综合考虑之后,选择使用 Apache DolphinScheduler 来完成这项挑战.如今,新网银行多 ...
- Apache DolphinScheduler 2.X保姆级源码解析,中国移动工程师揭秘服务调度启动全流程
2022年1月,科学技术部高新技术司副司长梅建平在"第六届中国新金融高峰论坛"上表示,当前数据量已经大大超过了处理能力的上限,若信息技术仍然是渐进式发展,则数据处理能力的提升将远远 ...
- 中国联通改造 Apache DolphinScheduler 资源中心,实现计费环境跨集群调用与数据脚本一站式访问
截止2022年,中国联通用户规模达到4.6亿,占据了全中国人口的30%,随着5G的推广普及,运营商IT系统普遍面临着海量用户.海量话单.多样化业务.组网模式等一系列变革的冲击. 当前,联通每天处理话单 ...
- 新一代大数据任务调度系统 - Apache DolphinScheduler 1.3.4 发布,推荐下载
| 本文编辑:朱桐 新一代大数据任务调度 - Apache DolphinScheduler(incubator) 在经过社区 30 多位小伙伴的贡献与努力下于发布了 1.3.4 版本,1.3.4 作 ...
- Apache DolphinScheduler 迎来 2 位 PPMC
经过 Apache DolphinScheduler PPMC 们的推荐和投票,我们高兴的宣布:Apache DolphinScheduler 迎来了 2 位 PPMC .他们是(github id) ...
- 金秋十月 - Apache DolphinScheduler 收获 2 位新 Committer
点击上方蓝字关注 Apache DolphinScheduler Apache DolphinScheduler(incubating),简称"DS", 中文名 "海豚调 ...
- 金灿灿的季节 - Apache DolphinScheduler收获5位新Committer
在这个金灿灿的收获季节,经过 Apache DolphinScheduler PPMC 们的推荐和投票,Apache DolphinScheduler 收获了 5 位新Committer .他们是:n ...
- Apache DolphinScheduler&ShenYu(Incubating) 联合 Meetup,暖春 3 月与你相约!
云霞出海曙,梅柳渡江春. 2022 年的早春在疫情中显得格外生机勃勃,虽然接下来寒流仍有可能造访国内部分地区,但开源的世界,早已热闹非凡! 2022 年 3 月 26 日(星期六), Apache D ...
- Apache DolphinScheduler 社区呼唤志愿者
DolphinScheduler是什么? Apache DolphinScheduler 是一个分布式.易扩展并带有强大的可视化界面的大数据工作流调度系统. 2021 年 03 月 18 日正式成为 ...
随机推荐
- Spring Boot入门实验
一. 实验目的和要求 1.掌握使用 IDEA 通过 Maven 和 Spring Initializr 的方式创建 Spring Boot 应用程序: 2.掌握 Maven 的工作原理: 3.了解 s ...
- 对Transformer的一些理解
在学习Transformer这个模型前对seq2seq架构有个了解时很有必要的 先上图 输入和输出 首先理解模型时第一眼应该理解输入和输出最开始我就非常纠结 有一个Inputs,一个Outputs(s ...
- FPGA案例开发手册——基于全志T3+Logos FPGA核心板
前 言 本文档主要提供评估板FPGA端案例测试方法,适用的开发环境为Windows 7 64bit和Windows 10 64bit. 本文案例基于创龙科技的全志T3+Logos FPGA核心板,它是 ...
- NXP i.MX 8M Mini的视频开发案例分享 (下)
本文主要介绍i.MX 8M Mini的视频开发案例,包含基于GStreamer的视频采集.编解码.算法处理.显示以及存储案例,GigE工业相机测试说明,H.265视频硬件解码功能演示说明等. 注:本案 ...
- mermaid语法画图
mermaid 脚本语言 graph TB 从上到下 graph BT 从下到上 graph RL 从右到左 graph LR 从左到右 graph LR; A001-->B001; graph ...
- Spring Reactor基本介绍和案例
1. Reactor 对比 1.1 Reactor 线程模型 Reactor 线程模型就是通过 单个线程 使用 Java NIO 包中的 Selector 的 select()方法,进行监听.当获取到 ...
- 在Mac上使用Emacs初步
其他操作系统估计也差不多. 安装 如果使用brew就是brew install emacs.安装后不会在Applications里面显示一个程序,需要在命令行里执行emacs. 使用 进入和退出 上面 ...
- 怎么判断一个变量arr的话是否为数组(此题用 typeof 不行)?
arr instanceof Array arr.constructor == Array Object.protype.toString.call(arr) == '[Object Array]'
- yb课堂实战之轮播图接口引入本地缓存 《二十一》
轮播图接口引入缓存 CacheKeyManager.java package net.ybclass.online_ybclass.config; /** * 缓存key管理类 */ public c ...
- 敏捷开发(Scrum)
一.敏捷的背景与动机 1.1 软件危机及软件工程的出现 速度是企业竞争致胜的关键因素,软件项目的最大挑战在于,一方面要应付变动中的需求,一方面要在紧缩的时程内完成项目,传统的软件工程难以满足这些要 ...