我与Apache DolphinScheduler社区的故事

我与DolphinScheduler社区的故事

Apache DolphinScheduler 是一个开源的分布式去中心化、易扩展的可视化DAG大数据调度系统。 于2017年在易观数科立项，2019年3月开源，于2019年8月29日通过Apache基金会投票正式成为Apache孵化器项目。社区发展非常迅速，目前已有 400+ 公司在生产上使用，代码+文档贡献者近200位，社区用户4000 +人。

主人翁简介

姓名：黄立
长安汽车-云平台开发部-大数据工程师，负责车联网数据基础平台建设工作，DolphinScheduler Committer，目前专注于物联网数据存储和计算领域。我参与到 DS社区应该刚好一年，是非常典型的从开源用户到了解社区最后参与社区的路线。

初识EasyScheduler(DolphinScheduler的前身)：四天上生产

时间回退到2019年8月，公司成为了Cloudera的客户，准备基于EDH构建车联网数据平台。
在大数据任务调度系统选型的时候，初步定了3个组件：Zeus，Azkaban，Airflow。从系统是否开源，二开难度和易用性上最终选型了Azkaban。接下来就是开始对Azkaban测试，Azkaban使用command的方式来描述任务关系，描述方式比较麻烦，不够直观。于是我开始继续寻找大数据批处理调度系统，发现了这个新闻：
分布式工作流任务调度系统Easy Scheduler正式开源
嗯？可视化拖拉拽？支持shell？HA？易观投产两年？java系？
我：琦鹏（EDH实施的小哥），要不咱们整下这个easyscheduler？
琦鹏：哥， 咱这个还一周要上线啊，你现在测？
我：我看网上写得挺不错的，搞搞看？部署应该不复杂的，不行还有Azkaban嘛
琦鹏：。。。。。。。。。
于是我花了4天的时间将easyscheduler从测试环境部署到预生产的POC全部做完，向领导汇报后，得到的反馈是，可以投产。现在，5个节点的ds系统承接了车联网数据平台的所有批处理任务，已经稳定运行了一年四个月。

接触社区：2019年12月8日 DolphinScheduler MeetUp

2019年9月17日，ds进入apache孵化器，开始了第一个apache版本的发版工作。我也开始了这个分支的升级测试工作，因为当时1.2.0支持了一个非常重要的功能：跨项目依赖。由于对ds的了解程度不高，开发环境升级之后，之前做好的定时的任务一直无法调起来，我决定在12月8日到北京去参加Apache DolphinScheduler的MeetUp，目的是找到ds的开发者帮我解决系统升级的问题。这里要感谢一下我的领导，支持我到北京出差参加社区活动。这是当时meetup的照片，也是我第一次参加线下的meetup，有一种程序员开大会的感觉。最后一个topic，各位大佬进行了如何加入Apache社区并成为Committer的圆桌讨论。我了解到了Apache项目的运作方式，有哪些角色，参与到开源项目中的方式。
重点是，会后我拿出电脑让ds的开发者李岗帮我查组件升级的问题，最后发现是包名的升级兼容性问题，现在想起来都觉得很神奇，从重庆到北京，就处理了一个ds的升级问题。

回到重庆之后，我决定开始参与到ds社区中。于是整理对ds的改造点，提了第一个pr，是关于Spark组件支持多版本的功能。PR的日期是2019年12月17日。参加12月8日meetup的决定，让我真正开始动起手来，参与开源。划重点：参加Meetup！！！

参与社区：从细节做起，不光是代码

参与开源项目，贡献社区不单是只有提交代码这一种方式。任何形式参与社区：贡献文档，提交翻译，参与讨论，在邮件列表或issue中回答社区用户的提问，都会被社区记录和认可。期间我发现有部分用户，在参与开源项目的时候，喜欢一来就整个“大Feature”。关于一个Feature，其设计和实现并未经过社区讨论，一个pr就更改了100多个文件，提交上万行代码，这样的pr其review压力巨大，很难得到社区认可。
在开源贡献的层面来说，所做的工作给社区带来微小而美好的改变就是值得的。个人而言，我参与社区的方式比较综合：

• 贡献代码

在issue列表中，寻找自己感兴趣的issue，做力所能及的bug fix和实现feature。

• 报告bug，参与讨论
  

• 贡献文档

提到文档贡献就非常有意思了，在2020年初的时候，DolphinScheduler社区建立了海豚调度的公众号，我贡献给社区的第一篇文档是如何在 CDH5.16.2 中部署 Apache Dolphin Scheduler 1.2.0。后续得到的反馈是有不少用户根据这篇文档，成功部署DS，开始成为小海豚的用户，我感到非常非常高兴。**所以，参与社区，真的不一定需要写代码。**之后，我又陆续向社区贡献文档，涉及版本升级指南，部署参数分析和故障处理。

社区收获

参与社区是要花费一定的休息时间和精力的，在参与社区这件事上，付出和收获一定是成正比的。

引入重要的Bug Fix

最最最重要的是，通过社区用户的实践，我们可以提前发现一些重要的bug，比如在1.3.4中修复的任务卡死问题，如果对社区熟悉就可以在内部的代码中cherry-pick对应的pr，不用等到社区发版，保证生产系统的稳定性。

内部开发保持与社区一致

引用Hbase社区张铎老师的PPT，参与开源，将内部的feature回馈给社区，参与社区开发，可以保证自研代码和社区代码的步调一致，享受到社区最新的功能

写在最后

我一直觉得，做任何事情，学习任何一项技能，都要经历一个：不会到会，会到会用，用到用好，用好到用成自己的，四个阶段。目前，我们正处于将ds用好的一个阶段。个人也会继续参与到开源中，在社区中贡献，收获。