在软件开发领域有一个流行的原则:Don't Repeat Yourself(DRY),翻译过来就是:不要重复造轮子.而开源项目最基本的目的,其实就是为了不让大家重复造轮子. 尤其是在大数据这样一个高速发展的领域,现在各类企业都有使用大量的开源软件,当发现开源项目不能满足场景业务需求的时候,越来越多的开发者也开始关注技术生态的"外延",结合各类场景打磨企业适用的技术架构.在此背景下,技术软件如何让更多用户能**"轻松上手"."简单应用"**就显得更…

当大数据挖掘成为企业赖以生存.发展乃至转型的生命,如何找到一款好软件帮助企业满足需求,成为了许多大数据工程师困扰的问题.但在当下高速发展的大数据领域,光是一款好软件似乎都不足以满足所有场景业务需求,许多企业逐渐将目光转向了技术生态的"外延"--即结合各种场景打造企业适用的技术架构. 那该如何才能打造出一款,用户能够"轻松上手"."简单应用"的软件呢?Apache DolphinScheduler 联合 TiDB 社区共同举办的Meetup将带给你…

引言 来自 eBay 的文俊同学在近期的上海开源大数据 Meetup 上做了十分精彩的 "Apache DolphinScheduler 的架构演进" 分享.本次分享有近 200 人参与,在线观看次数超过 2,500 次 图为现场 分享视频请参见 Apache DolphinScheduler 介绍 Apache DolphinScheduler 是一个云原生的分布式去中心化,易扩展的可视化 DAG 工作流任务调度平台.致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流…

经 10000+ 开发者公开票选,20+专家评审. 10+ 主编团打分,历经数月打磨,11 月 19 日,由InfoQ 发起并组织的[2020中国技术力量年度榜单评选]结果正式揭晓. 2020 年度十大开源新锐项目囊括了最近三年内,开源领域活跃度最高.最具创新性和发展潜质的项目,Apache DolphinScheduler(incubator) 经过层层环节的选拔,成功获得[十大开源新锐项目] InfoQ 海报 除了DolphinScheduler获奖外,还有 9 个优秀项目也同时获奖,值此机…

Fordeal的数据平台调度系统之前是基于Azkaban进行二次开发的,但是在用户层面.技术层面都存在一些痛点问题难以被解决.比如在用户层面缺少任务可视化编辑界面.补数等必要功能,导致用户上手难体验差.在技术层面,架构过时,持续迭代难度大.基于这些情况,经过竞品对比和调研后,Fordeal数据平台新版系统决定基于Apache DolphinScheduler进行升级改造.那整个迁移过程中开发人员是如何让使用方平滑过渡到新系统,又做出了哪些努力呢? 5月 Apache Dolphinschedul…

不知不觉,Apache DolphinScheduler 已经从 Apache 软件基金会(以下简称 ASF)孵化器毕业一年啦! 北京时间 2021 年 4 月 9 日,ASF 官方宣布 Apache DolphinScheduler 毕业成为 Apache 顶级项目,让首个由国人主导并贡献到 Apache 的大数据工作流调度领域的顶级项目进入更多人的视野. 如今一年过去,Apache DolphinScheduler 也在众人瞩目和基金会的帮助之下,加快了奔跑的步伐,力争在 DataOps 领…

在新网银行,每天都有大量的任务实例产生,其中实时任务占据多数.为了更好地处理任务实例,新网银行在综合考虑之后,选择使用 Apache DolphinScheduler 来完成这项挑战.如今,新网银行多个项目已经完成了实时与准实时的跑批,指标管理系统的离线跑批,应用于离线数据开发和任务调度.准实时数据开发和任务调度,以及其他非 ETL 用户定义数据跑批三类场景中. 为了更好地适应业务需求,新网银行是如何基于Apache DolphinScheduler 做改造的呢?在 Apache Dolphin…

2022年1月,科学技术部高新技术司副司长梅建平在"第六届中国新金融高峰论坛"上表示,当前数据量已经大大超过了处理能力的上限,若信息技术仍然是渐进式发展,则数据处理能力的提升将远远落后于指数级增长的数据量.因此,在一段时期内,数据处理能力与效率的提升仍将是大数据发展要面对的技术难点. 随着5G.物联网等网络信息技术的快速发展以及应用的快速增长,数据量也呈指数级增长,纵观运营商整个大数据开发的链路上,在各个环节都会出现各种严峻的问题,随着数据任务调度量级日益增大,阻碍数据正确且高效地发挥…

截止2022年,中国联通用户规模达到4.6亿,占据了全中国人口的30%,随着5G的推广普及,运营商IT系统普遍面临着海量用户.海量话单.多样化业务.组网模式等一系列变革的冲击. 当前,联通每天处理话单量超过400亿条.在这样的体量基础上,提高服务水平,为客户提供更有针对性的服务,也成为了联通品牌追求的终极目标.而中国联通在海量数据汇集.加工.脱敏.加密等技术与应用方面已崭露头角,在行业中具有一定的先发优势,未来势必成为大数据赋能数字经济发展的重要推动者. 在 Apache DolphinSche…

点亮 ️ Star · 照亮开源之路 GitHub:https://github.com/apache/dolphinscheduler 精彩回顾 近期,初灵科技的大数据开发工程师钟霈合在社区活动的线上 Meetup 上中,给大家分享了<基于 Apache DolphinScheduler 对千亿级数据的应用实践>主题演讲. 我们对于千亿级数据量的数据同步需求,进行分析和选型后,初灵科技最终决定使用DolphinScheduler进行任务调度,同时需要周期性调度 DataX.SparkSQL…