作者 | 代立冬,李岗 排版 | 开源之道小助理 Apache DolphinScheduler,简称"DS", 中文名 "小海豚调度"(海豚聪明.人性化,又左右脑可互相换班,终生不用睡觉).希望 DolphinScheduler 就像它的名字一样,成为一个"开箱即用"的灵活易用的调度系统. 1 概述 DAG 全称 Directed Acyclic Graph,简称 DAG.工作流中的Task任务以有向无环图的形式组装起来,从入度为零的节点进行拓…

Apache DolphinScheduler(Incubating)社区在节后上周第一周就迎来了好消息,经过 Apache DolphinScheduler PPMC 们的推荐和投票,我们高兴的宣布:Apache DolphinScheduler 迎来了第二批共 7 位新 Committer.他们是(github id):break60.samz406.Yeleights.Jave-Chen.xingchun-chen.lfyee.chongchongzi ,至此  DolphinSchedu…

在众多企业都在进行数字化转型的大背景下,大数据.人工智能等行业有着十分广阔的前景,其发展也可谓如火如荼.发展过程中这其中当然离不开数据采集.数据流通和数据价值挖掘等各种环节,而各环节的打通需要一个坚实底座来作为支撑,这个支撑就是今天要聊的大数据调度系统. 1 大数据调度介绍 多年来,谈到开源的大数据调度,大家可能一想到的就是 oozie.azkaban 等,这其中有没有痛点呢? 当然有,是否稳定.高可用一直都是各个调度的巨大痛点.在大数据中,其他服务可以挂,但调度不能挂的首要要求,是否能很简单易…

Apache DolphinScheduler 是一个分布式去中心化,易扩展的可视化 DAG 工作流任务调度系统.致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用. 近日,伯毅同学给社区贡献了工作流核心表结构的剖析文章,非常细致,喜欢的伙伴请转走 1. 工作流总体存储结构 在 dolphinscheduler 库中创建的所有工作流定义(模板)都保存在 t_ds_process_definition 表中. 该数据库表结构如下表所示: 序号 字段 类型 描述 1 id…

活动背景 2020年,大数据成为国家基建的一个重要组成,大数据在越来越多的领域展现威力.随着大数据的应用场景越来越多,大家对数据的响应速度和数据加工工作流的方便程度也提出了更高的要求.在这种背景下,相信做过大数据的技术小伙伴应该对 Apache 一词不会陌生,Apache 基金会旗下拥有被广泛使用的众多开源软件,本次特地邀请到 2 个本土的 Apache 大数据应用项目的开发者来一起分享解决数据响应速度和数据工作流任务调度方面的开源技术,一起为中国开源献力. Apache Doris(Incub…

概述 定义 dolphinscheduler 官网地址 https://dolphinscheduler.apache.org/ dolphinscheduler GitHub地址 https://github.com/apache/dolphinscheduler Apache DolphinScheduler是一个分布式去中心化,易扩展的可视化DAG工作流任务调度平台.致力于解决数据处理流程中错综复杂的依赖关系,不能直观监控任务健康状态等问题,使调度系统在数据处理流程中开箱即用:以DAG流式…

​  点亮 ️ Star · 照亮开源之路 GitHub:https://github.com/apache/dolphinscheduler   ​ 版本发布 2022/8/10 2022 年 8 月 10 日,Apache DolphinScheduler 在经过 3.0.0 alpha.3.0.0-beta-1.3.0.0-beta-2 不断验证之后,终于迎来了社区期盼已久的第三个大版本! 3.0.0 正式版本发生了自发版以来的最大幅度变动,新增了众多全新功能和特性,旨在为用户带来全新的体…

作者 | 胡泽康 鄞乐炜 作者简介 胡泽康 联通(广东)产业互联网公司  大数据工程师,专注于开源大数据领域,从事大数据平台研发工作 鄞乐炜 联通(广东)产业互联网公司 大数据工程师,主要从事大数据平台的应用与引擎端开发 01 背景介绍 我们是联通医疗团队,一直践行 "服务医改,惠及民生" 的使命,全面驱动医疗健康产业数字化.智能化转型. 在调度系统选型初期,我们团队技术栈以 JVM 语言为主,由于 Airflow 的结构体系无法进行充分的改造和融合,因此在开源调度系统的选择上,我们主…

Fordeal的数据平台调度系统之前是基于Azkaban进行二次开发的,但是在用户层面.技术层面都存在一些痛点问题难以被解决.比如在用户层面缺少任务可视化编辑界面.补数等必要功能,导致用户上手难体验差.在技术层面,架构过时,持续迭代难度大.基于这些情况,经过竞品对比和调研后,Fordeal数据平台新版系统决定基于Apache DolphinScheduler进行升级改造.那整个迁移过程中开发人员是如何让使用方平滑过渡到新系统,又做出了哪些努力呢? 5月 Apache Dolphinschedul…

当大数据挖掘成为企业赖以生存.发展乃至转型的生命,如何找到一款好软件帮助企业满足需求,成为了许多大数据工程师困扰的问题.但在当下高速发展的大数据领域,光是一款好软件似乎都不足以满足所有场景业务需求,许多企业逐渐将目光转向了技术生态的"外延"--即结合各种场景打造企业适用的技术架构. 那该如何才能打造出一款,用户能够"轻松上手"."简单应用"的软件呢?Apache DolphinScheduler 联合 TiDB 社区共同举办的Meetup将带给你…