全球最大的开源软件基金会 Apache 软件基金会(以下简称 Apache)于北京时间 2021年4月9日在官方渠道宣布Apache DolphinScheduler 毕业成为Apache顶级项目。这是首个由国人主导并贡献到 Apache 的大数据工作流调度领域的顶级项目。

DolphinScheduler 已经是联通、IDG、IBM、京东物流、联想、新东方、诺基亚、360、顺丰和腾讯等 400+ 公司在使用的分布式可视化大数据工作流调度系统。

DolphinScheduler于2019年8月29日由易观捐赠给 Apache 并启动孵化。之后在导师的指导下,由孵化器管理委员会成员进行辅导和孵化,在 2021年2月19日在 Apache 孵化器以 8 票支持一次性通过毕业提案投票。3月18日,Apache 董事会通过DolphinScheduler毕业决议,结束了为期 18 个月的孵化,正式确定 DolphinScheduler 成为 Apache 顶级项目。

2021 年 4 月 9 日由 Apache 市场副总裁 Sally Khudairi 在 Apache 软件基金会各渠道官号上发布官方通告。

关于 Apache DolphinScheduler

Apache DolphinScheduler 是一个分布式易扩展的带有强大可视化 DAG 界面的新一代工作流调度平台,自 2017 年在立项之初就确定了使命“解决大数据任务之间错综复杂的依赖关系,使整个数据处理过程直观可见”,从此配置工作流程再也不需要写代码啦!

DolphinScheduler 架构

作为强大的带有有向无环图(DAG)可视化界面的分布式大数据工作流调度平台,DolphinScheduler解决了复杂的任务依赖关系和简化了数据任务编排的工作。它以开箱即用的、易于扩展的方式将众多大数据生态组件连接到可处理 100,000 级别的数据任务调度系统中来。

Apache DolphinScheduler是全球顶尖架构师与社区认可的数据调度平台,把复杂性留给自己,易用性留给用户,整体有如下特征:

  • 云原生设计:支持多云、多数据中心的跨端调度,同时也支持K8s Docker部署与扩展,性能上可以线性增长,在用户测试情况下最高已经支持10万的并行任务控制;

  • 高可用:去中心化的多Master/Worker的架构,可以自动任务平衡,自动高可用,确保任务在任何节点死机的情况下可以具有完整性完成整体调度;

  • 用户友好的界面:可视化的DAG图,包括子任务,条件调度、脚本管理、多租户等方便功能,并具有让运行任务实例与任务模板分开,让你的平台维护人员和数据科学家都有一个方便易用的开发和管理平台;

  • 支持多种数据场景:支持流数据处理,批数据处理,暂停、恢复、多租户等,对于spark,hive,MR,flink,clickhouse等等平台都可以方便直接调用。

DolphinScheduler在短短一年半孵化时间里就能收获如此多用户和其一直倡导的Slogan是分不开的:

最终Apache DolphinScheduler获得大量用户,例如中国联通、IBM中国,京东物流,联想,新东方,顺丰快递等等,400多个用户都在线上使用:

是的,调度用的对,半夜真能安心睡!

Apache DolphinScheduler开始了新的起点!

DolphinScheduler 在设计之初就秉承着大道至简、产品易用易维护的核心理念,以高可用、易扩展作为架构底座,经过诸多打磨,获得了用户群体的肯定,然后才在 2019年 3 月正式对外开源,8 月 29 日成功进入到 Apache 孵化器,成为国内首个 Apache 大数据调度项目,多次登陆 github 月度趋势榜并引起 Hacker News 上的热烈讨论。在 2020 年, DolphinScheduler 也获得了诸多赞誉,InfoQ 中国技术力量年度榜单评其为 “十大开源新锐项目” 和 “最具人气开源新锐项目”,荣获开源中国年度 “最佳技术团队” 等称号。DolphinScheduler社区已经有庞大的 4000+ 人的用户群,据不完全统计,截止 2020 年 10 月,已经有 400+ 家公司将 DolphinScheduler 用在生产环境,DolphinScheduler 在各个领域上持续发光发热!

DolphinScheduler 发展历程

在 Apache 孵化过程中,学习并实践 Apache Way, 真正体会到了 Apache 文化的精髓 “Comuunity Over Code”,社区基于代码,却又大于代码,需要在代码之上去思考如何协作、如何沟通,如何让 Community 健康持续的向前发展。正是这不断的思考,使得 DolphinScheduler 在结束孵化投票上没有遇到任何 challenge,可以说是出乎意料的顺利。

毕业成为顶级项目见证了过去一年半以来来自 Apache DolphinScheduler 社区众多贡献者和用户的日日夜夜的努力,自从进入 Apache 孵化器以来,DolphinScheduler 社区共加入了 14 位 Commiter、2 位 PMC,也在社区的共同努力下发布了 8 个 Apache Releases,感谢给予辛勤支持和无数帮助的各位导师、贡献者、用户和及 Apache 孵化器的支持。

成为顶级项目,只是Apache DolphinScheduler新的起点,还有更多的挑战等待着各位社区的小伙伴和用户多多的支持,我们希望未来可以让中国优秀的开源项目走向世界,让世界都了解国内也有顶尖的开源项目,最后也感谢各位大咖对于 Apache DolphinScheduler 项目的帮助和祝福。我们也在此拜谢各位,也希望各位一如既往的支持 Apache DolphinScheduler 项目走向全球!

在成为顶级项目佳机,DolphinScheduler 社区先后获得各路大神和各开源社区的贺词与祝福:

  • 我很荣幸能从孵化的第一天起就开始指导DolphinScheduler社区。在过去的 1.5 年中,社区非常快速而健康地生长。他们很快学会了Apache文化,并具有出色的执行能力。很高兴看到该项目从孵化器中毕业,并拥有一个多元化而活跃的社区。成为顶级项目来说是一个新的起点,期待成为一个全球性且强大的项目。

——Sheng Wu. DolphinScheduler Incubator Champion. Apache board director

  • 很荣幸见证了 DolphinScheduler 从开源到进入 Apache 孵化器,再到毕业成为独立 Apache 顶级项目的整个过程;在这一年多的时间里, DolphinScheduler 社区的同学们,秉承开源精神,不断创新、不断进取;社区开发者贡献者源源不断的加入,使得 DolphinScheduler 这个国人创造的大数据调度工具日趋完善,用户也越来越多,项目走向了良性循环发展之路。期待她从孵化器毕业以后,在其 PMC 的管理下继续前进,通过开源软件为社会、为公众创造更多价值。

——史少锋,Apache Kylin & Incubator PMC

  • 祝贺DolphinScheduler开源项目从Apache孵化器中毕业成为ASF顶级开源项目,DolphinScheduler一直按照Apache Way来发展社区,吸引了众多开源开发者加入,在社区成员共同努力下,项目越来越成熟,祝愿DolphinScheduler社区越来越好

——Apache CarbonData VP 陈亮

  • 在 DolphinScheduler 从 Apache 基金会孵化成功、毕业成为顶级项目之际,谨代 Apache Pulsar 社区送上祝福,祝 DolphinScheduler 项目和社区发展越来越好!也希望 Pulsar 和 DolphinScheduler 社区多多合作,共同推进国内开源发展。

—— Apache Pulsar 社区

  • 恭喜 Apache DolphinScheduler 从 Apache 基金会毕业,非常高兴看到又一来自中国的开源项目成为 Apache 基金会顶级项目。恭祝 DolphinScheduler 社区发展壮大,服务更多开发者。

—— Apache ECharts VP 羡辙

  • 恭喜 DolphinScheduler 顺利毕业成为 Apache 软件基金会的顶级项目!DolphinScheduler 在进入 Apache 孵化器后,按照 Apache Way 快速发展,已经拥有了很多的外部贡献者,也有非常多的公司在使用,构建了健康的社区生态。期待 Apache DolphinScheduler 成为顶级项目后,能够吸引更多的开发者参与进来。

—— Apache APISIX VP 温铭

  • DolphinScheduler 是非常靠谱的国产开源项目,祝越来越好!

—— Apache pegasus ppmc 吴涛

  • 恭喜 Apache DolphinScheduler 毕业,

DolphinScheduler是一款非常优秀的开源项目,社区一直遵从Apache Way,孵化期间,已经吸引了大量的用户、贡献者。

我在此谨代表 Apache Dubbo 社区送上祝福,衷心祝愿DolphinScheduler社区越来越好!

——Apache Dubbo PMC - YuHang Xiu

  • 我非常高兴看到 DolphinScheduler 毕业成为 Apache 顶级项目,DolphinScheduler 社区在孵化器中以 Apache way 的方式发展的非常快。我对我们2个社区共同举办的co-meetup上参与者的热情印象非常深刻。希望将来能有更多的合作。我为你感到骄傲,Congratulations!

——LiangZhang, Apache member & Apache ShardingSphere PMC Chair

  • 恭喜 Apache DolphinScheduler 从 Apache 基金会毕业成为 Apache 基金会顶级项目。恭祝 DolphinScheduler成为新时代Scheduler标准,为更多的企业和开发人员带来开箱即用的体验。

——Apache Griffin VP 郭跃鹏

  • 祝贺DolphinScheduler毕业!进入Apache孵化器以来,DolphinScheduler发展非常迅速,建立了非常活跃的社区。期待DolphinScheduler越来越好,也非常期待IoTDB能够与DolphinScheduler集成,成为时序分析的数据源。

——Apache IoTDB VP 黄向东

此次顺利毕业,DolphinScheduler 也获得了开源社创始人 - 刘天栋Ted 的高度评价:“Apache DolphinScheduler 是一个真正践行 Apache 之道-亦即由社区驱动的开源项目。它成功地由 Apache 孵化器毕业为顶级项目,标志了第一个源自中国的中小企业开源项目一样可以立足中国、贡献全球。恭喜 Apache DolphinScheduler! ”

毕业之际,DolphinScheduler 社区也获得了用户代表的赞誉:

  • 提供了一个优秀的调度产品,节省了近百人月的开发成本。友好的社区沟通环境,提供了强大的后援支持。

——联通数字科技 架构师 尹正军

  • 面向物流领域的解决方案,DS作为数据底座基础组件,可配合多个京慧智能产品应用对外销售,可根据业务实际需求灵活选择。可快速高效定制化开发,新功能新需求支持敏捷开发,短时间内即可完成产品方案的快速交付,具有良好的、完整的技术保障。另外运用开源DS,便于业务实际需求扩展和二次开发。如外接SAP hana数据共享和Hadoop最新版本源码快速迭代。DS 社区一年来,汇集了很多业界专家,输出了很多高质量的讲座和文档资源,在社区中学习到很多,收获很大。祝DS社区发展越来越好,能够凝聚更多的有识之士,共谱开源DS的美好未来。

——京东物流JDL  数据架构师 顾喜德

  • 恭喜~~ 小海豚已经是我们数据项目开发管理的利器,非常好用,希望保持初心,越来越好~

——奇安信 数据总监 姜旭

  • 从EasyScheduler到DolphinScheduler,有幸见证了小海豚的成长 —— 越来越简单,越来越易用。DS已作为数据平台的基础组件服务于整个长安汽车车联网的离线开发场景,非常稳定。希望DS社区生态越来越完善,每个用户都能得益于社区,贡献于社区!

——长安汽车 数据平台工程师 黄立

新一代大数据调度 - DolphinScheduler 的相关资源

  • DolphinScheduler 官网: https://dolphinscheduler.apache.org

  • DolphinScheduler github:https://github.com/apache/incubator-dolphinscheduler

  • DolphinScheduler Gitee:https://gitee.com/dolphinscheduler/DolphinScheduler

  • DolphinScheduler Twitter: https://twitter.com/dolphinschedule

  • DolphinScheduler Slack 讨论频道: https://join.slack.com/t/asf-dolphinscheduler/shared_invite/zt-omtdhuio-_JISsxYhiVsltmC5h38yfw

  • DolphinScheduler 微信公众号: 海豚调度

  • 微信用户群添加微信号: easyworkflow

彩蛋:

DolphinScheduler 社区获得了 Apache Pulsar 社区的视频祝福:

https://www.bilibili.com/video/BV1oi4y1w7yk

官宣!DolphinScheduler 毕业成为 Apache 软件基金会顶级项目的更多相关文章

  1. Apache 软件基金会顶级项目 Pulsar 达成新里程碑:全球贡献者超 300 位!

    各位 Pulsar 社区小伙伴们: 今天我们高兴地宣布Pulsar 达成新里程碑,全球贡献者超 300 位! 距离 Pulsar 实现 200 位贡献者里程碑,仅仅间隔 8 个月! 作为 Apache ...

  2. 对于学习apache软件基金会顶级项目源码的一点思路(转)

    ASF的开源项目,为软件行业贡献了太多好的产品和软件思维.学习ASF的项目源码能很大的提升自身的能力.程序运行在服务器上的流程:执行启动脚本(start.sh) -> 指向程序的主方法 -> ...

  3. Apache软件基金会核心项目Tomcat的那些事

    Tomcat 服务器是一个免费的开放源代码的Web 应用服务器,属于轻量级应用服务器,在中小型系统和并发访问用户不是很多的场合下被普遍使用,是开发和调试JSP 程序的首选.今天就来为大家介绍一下关于T ...

  4. Apache软件基金会项目百度百科链接

    Apache软件基金会 顶级项目 ▪ ActiveMQ ▪ Ant ▪ Apache HTTP Server ▪ APR ▪ Beehive ▪ Camel ▪ Cassandra ▪ Cayenne ...

  5. 官宣!ASF官方正式宣布Apache Hudi成为顶级项目

    马萨诸塞州韦克菲尔德(Wakefield,MA)- 2020年6月 - Apache软件基金会(ASF).350多个开源项目和全职开发人员.管理人员和孵化器宣布:Apache Hudi正式成为Apac ...

  6. 【翻译】Apache软件基金会1

    最近有点看不进去书,所以就找点东西翻译下,正好很想了解Apache基金会都有什么开源项目,每天找点事时间翻译翻译,还可以扩展下视野. 今天就看了两个,第一个是关于.NET的,不再兴趣范围内.第二个还挺 ...

  7. Apache 顶级项目 Apache Pulsar 成长回顾

    关于 Apache Pulsar Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息.存储.轻量化函数式计算为一体,采用计算与存储分离架构设计,支 ...

  8. 【Apache开源软件基金会项目】

    因为想要继续巩固一下外语,并且扩展下java的知识面,翻译一下Apache软件基金会的各个项目是个不错的选择. 2014-10-19 1 [Apache .NET Ant Libary] .net A ...

  9. apache基金会开源项目简介

    apache基金会开源项目简介   项目名称 描述 HTTP Server 互联网上首屈一指的HTTP服务器 Abdera Apache  Abdera项目的目标是建立一个功能完备,高效能的IETF ...

随机推荐

  1. 2020级cpp上机考试题解#B卷

    A卷的第七题我只会一个个排除的方法 意思就是暂时没有好办法所以A卷不搞了 1:递归函数求数列 题意: 有一个递归函数int f(int m),计算结果代表了数列的第m项.当m等于1时,函数结果返回1: ...

  2. .net6.0 初探

    概述:大概的了解一下 dotnet 6.0 建立 MVC web项目的过程以及程序调用  结合 EF 框架进行简单 的CRUD 1.选择创建  MVC 的Web项目 2.框架类型选择 6.0 3. 6 ...

  3. 高度灵活可定制的PC布局:头部按钮、左边栏、右边栏、状态栏

    什么是自适应布局 CabloyJS提供了一套布局管理器,实现自适应布局 关于自适应布局的概念,强烈建议先阅读以下两篇文章: 自适应布局:pc = mobile + pad 自适应布局:视图尺寸 什么是 ...

  4. ASP.NET Core 应用配置指定地址和端口

    更新记录 本文迁移自Panda666原博客,原发布时间:2021年5月10日. 几种方式 ASP.NET Core 应用配置指定地址和端口支持以下几种主要方式: 1.在命令行模式启动应用时设置 --u ...

  5. 敲了几万行源码后,我给Mybatis画了张“全地图”

    作者:小傅哥 博客:https://bugstack.cn 沉淀.分享.成长,让自己和他人都能有所收获! 一.说说:"产"后感受 有人跟我说,手写Spring难,手写Mybatis ...

  6. 「快速学习系列」我熬夜整理了Vue3.x响应性API

    前言 Vue3.x正式版发布已经快半年了,相信大家也多多少少也用Vue3.x开发过项目.那么,我们今天就整理下Vue3.x中的响应性API.响应性APIreactive 作用: 创建一个响应式数据. ...

  7. 下载安装myslq-----win

    在百度上搜索MySQL官网,进入下载页面-->选择社区版(Community)-->选择MySQL Community Server后,点击DOWNLOAD按钮-->Generall ...

  8. RPA应用场景-财务报表统计整合

    场景概述 财务报表统计整合 所涉系统名称 邮储银行系统 人工操作(时间/次) 3小时 所涉人工数量 1 操作频率 每月 场景流程 1.登录各个区支行系统 2.机器人按照要求,自动复选多项业务参数,导出 ...

  9. tauri+vue开发小巧的跨OS桌面应用-股票体检

    最近打算写一个用于股票体检的软件,比如股权质押比过高的股票不合格,ROE小于10的股票不合格,PE大于80的股票不合格等等等等,就像给人做体检一样给股票做个体检.也实现了一些按照技术指标.基本面自动选 ...

  10. 攻防世界MISC—进阶区32—37

    32.normal_png 得到一张png,扔进kali中binwalk 和 pngcheck一下,发现CRC报错 尝试修改图片高度,我是把height的2改为4,得到flag 33.很普通的数独 得 ...