新一代大数据工作流调度 - Apache DolphinScheduler(incubator) 今天发布了 1.3.5 官方 Docker 镜像.在社区伙伴 chengshiwen 的努力下,  1.3.5 版本的 Docker 镜像大约只有 1.3.4 版本的 1/2 ,  现在只有大约 220M 啦,奥利给! 下面就带大家来 快速使用 DolphinScheduler 官方推荐以 docker-compose 的方式启动,这种方式需要先安装 docker-compose , docker-…

在众多企业都在进行数字化转型的大背景下,大数据.人工智能等行业有着十分广阔的前景,其发展也可谓如火如荼.发展过程中这其中当然离不开数据采集.数据流通和数据价值挖掘等各种环节,而各环节的打通需要一个坚实底座来作为支撑,这个支撑就是今天要聊的大数据调度系统. 1 大数据调度介绍 多年来,谈到开源的大数据调度,大家可能一想到的就是 oozie.azkaban 等,这其中有没有痛点呢? 当然有,是否稳定.高可用一直都是各个调度的巨大痛点.在大数据中,其他服务可以挂,但调度不能挂的首要要求,是否能很简单易…

先前Apache DolphinScheduler 社区一直是发布 Dockerfile 和 K8s Chart.yaml 文件,由用户自行 build 镜像.随着越来越多的用户伙伴们的呼声高涨,社区于近日终于发布了第一个官方 Docker 镜像. 快速试用 DolphinScheduler 有 2 种方式可以快速试用 DolphinScheduler,分别进行介绍 一.以 docker-compose 的方式启动(推荐) 这种方式需要先安装 docker-compose , docker-co…

​  点亮 ️ Star · 照亮开源之路 GitHub:https://github.com/apache/dolphinscheduler   ​ 版本发布 2022/8/10 2022 年 8 月 10 日,Apache DolphinScheduler 在经过 3.0.0 alpha.3.0.0-beta-1.3.0.0-beta-2 不断验证之后,终于迎来了社区期盼已久的第三个大版本! 3.0.0 正式版本发生了自发版以来的最大幅度变动,新增了众多全新功能和特性,旨在为用户带来全新的体…

继昨日发布第一个 [官方 Docker 镜像] 后,有几位小伙伴私信想自己进行编译,这里也将 Docker 的主要贡献者文禾同学整理的文档进行分享.以下是全文内容: 您能够在类 Unix 系统和 Windows 系统中构建一个 docker 镜像. 类 Unix 系统, 如下: $ cd path/incubator-dolphinscheduler $ sh ./docker/build/hooks/build Windows系统, 如下: c:\incubator-dolphinschedu…

活动背景 2020年,大数据成为国家基建的一个重要组成,大数据在越来越多的领域展现威力.随着大数据的应用场景越来越多,大家对数据的响应速度和数据加工工作流的方便程度也提出了更高的要求.在这种背景下,相信做过大数据的技术小伙伴应该对 Apache 一词不会陌生,Apache 基金会旗下拥有被广泛使用的众多开源软件,本次特地邀请到 2 个本土的 Apache 大数据应用项目的开发者来一起分享解决数据响应速度和数据工作流任务调度方面的开源技术,一起为中国开源献力. Apache Doris(Incub…

在 Apache DolphinScheduler& Apache ShenYu(Incubating) Meetup 上,YY 直播 软件工程师 袁丙泽 为我们分享了<YY直播基于Apache DolphinScheduler的适配与探索>. 本次演讲主要包括四个部分: YY直播引入Apache DolphinScheduler的背景 Apache DolphinScheduler的引入过程 Apache DolphinScheduler应用的适配 YY直播未来的规划 讲师介绍 袁丙…

<DataFunSummit:大数据存储架构峰会> 2021年4月17日Apache DolphinScheduler PMC chair 代立冬参与 DataFunSummit 分享<新一代大数据调度 -Apache DolphinScheduler架构演进 & Roadmap>…

01 - 活动介绍 2020年,大数据成为国家基建的一个重要组成,大数据在越来越多的领域展现威力.随着大数据的应用场景越来越多,大家对数据的响应速度和数据加工工作流的方便程度也提出了更高的要求.在这种背景下,本次特地邀请到 2 个本土的 Apache 大数据应用项目的开发者来一起分享解决数据响应速度和数据工作流任务调度方面的开源技术,一起为中国开源献力. Apache Doris(Incubating)是一个现代化的 MPP 分析型数据库产品.仅需亚秒级响应时间即可获得查询结果,有效地支持实时数…

概述 定义 dolphinscheduler 官网地址 https://dolphinscheduler.apache.org/ dolphinscheduler GitHub地址 https://github.com/apache/dolphinscheduler Apache DolphinScheduler是一个分布式去中心化,易扩展的可视化DAG工作流任务调度平台.致力于解决数据处理流程中错综复杂的依赖关系,不能直观监控任务健康状态等问题,使调度系统在数据处理流程中开箱即用:以DAG流式…