活动背景 2020年,大数据成为国家基建的一个重要组成,大数据在越来越多的领域展现威力.随着大数据的应用场景越来越多,大家对数据的响应速度和数据加工工作流的方便程度也提出了更高的要求.在这种背景下,相信做过大数据的技术小伙伴应该对 Apache 一词不会陌生,Apache 基金会旗下拥有被广泛使用的众多开源软件,本次特地邀请到 2 个本土的 Apache 大数据应用项目的开发者来一起分享解决数据响应速度和数据工作流任务调度方面的开源技术,一起为中国开源献力. Apache Doris(Incub…

01 - 活动介绍 2020年,大数据成为国家基建的一个重要组成,大数据在越来越多的领域展现威力.随着大数据的应用场景越来越多,大家对数据的响应速度和数据加工工作流的方便程度也提出了更高的要求.在这种背景下,本次特地邀请到 2 个本土的 Apache 大数据应用项目的开发者来一起分享解决数据响应速度和数据工作流任务调度方面的开源技术,一起为中国开源献力. Apache Doris(Incubating)是一个现代化的 MPP 分析型数据库产品.仅需亚秒级响应时间即可获得查询结果,有效地支持实时数…

上周六下午 DolphinScheduler 社区联合 Doris 社区进行了 2020 年首次线上 Meetup,各位讲师都做了非常精彩的分享,也吸引了 1900 多位技术伙伴观看. 其中 DolphinScheduler 社区有 2 个 topic,来自奇安信的大数据研发伙伴李杰做了<分布式作业管理平台,让作业提交变得更简单>的分享,当时由于网络较卡,大家可能没听清具体内容,会后李杰同学又快速录了一个精彩内容速过视频. PPT 链接: https://www.slidestalk.com/…

​ ​ Kube-OVN 社区线上Meetup 直播预约通道已开启! 活动时间 2021年8月26日(周四)19:00-20:30 活动介绍 8月26日,Kube-OVN 社区 Meetup 将通过线上直播的方式与大家见面.届时,Kube-OVN项目发起人刘梦馨将与大家分享Kube-OVN1.8新版本特性预览及1.9版本功能规划,欢迎大家通过海报扫码预约进入线上交流群,参与讨论即有机会获得Kube-OVN社区经典款T恤. 讲师招募 现面向所有社区成员征集分享嘉宾, 与Kube-OVN 技术栈相关…

某线上应用在进行查询结果导出Excel时,大概率出现持续的FullGC.解决这个问题时,记录了一下整个的流程,也可以作为一般性的FullGC问题排查指导. 1. 生成dump文件 为了定位FullGC的原因,首先需要获取heap dump文件,看下发生FullGC时堆内存的分配情况,定位可能出现问题的地方. 1. 1 通过JVM参数自动生成 可以在JVM参数中设置-XX:+ HeapDumpBeforeFullGC参数. 建议动态增加这个参数,直接在线上镜像中增加一方面是要重新打包发布,另一方面…

Fordeal的数据平台调度系统之前是基于Azkaban进行二次开发的,但是在用户层面.技术层面都存在一些痛点问题难以被解决.比如在用户层面缺少任务可视化编辑界面.补数等必要功能,导致用户上手难体验差.在技术层面,架构过时,持续迭代难度大.基于这些情况,经过竞品对比和调研后,Fordeal数据平台新版系统决定基于Apache DolphinScheduler进行升级改造.那整个迁移过程中开发人员是如何让使用方平滑过渡到新系统,又做出了哪些努力呢? 5月 Apache Dolphinschedul…

本周伊始,Apache DolphinScheduler 项目在 GitHub 上的 Github Star 总数首次突破 8K.目前,Apache DolphinScheduler 社区已经拥有 Contributor 345+,fork 数 3k+,社区发展呈现出一片欣欣向荣. 既 Apache DolphinScheduler 项目荣登 GitHub Java Trending 周月度榜单之后,Apache DolphinScheduler 的社区活力与开发热度再一次得到了印证.3.0.0…

不知不觉,Apache DolphinScheduler 已经从 Apache 软件基金会(以下简称 ASF)孵化器毕业一年啦! 北京时间 2021 年 4 月 9 日,ASF 官方宣布 Apache DolphinScheduler 毕业成为 Apache 顶级项目,让首个由国人主导并贡献到 Apache 的大数据工作流调度领域的顶级项目进入更多人的视野. 如今一年过去,Apache DolphinScheduler 也在众人瞩目和基金会的帮助之下,加快了奔跑的步伐,力争在 DataOps 领…

背景 本文的主人翁是 2 次飞机参会现场交流,四天研究就把 DolphinScheduler 用上生产的来自车联网行业的大数据 boy - 黄立同学.怎么样,听起来是不是有点 crazy?下面就来看看黄同学艺高人胆大的开源故事. 主人翁:黄立,长安汽车 - 云平台开发部 - 大数据工程师,负责车联网数据基础平台建设工作,DolphinScheduler Committer.目前专注于物联网数据存储和计算领域. 我参与到 DS 社区应该刚好一年,是非常典型的从开源用户到了解社区最后参与社区的路线.…

作者 | 胡泽康 鄞乐炜 作者简介 胡泽康 联通(广东)产业互联网公司  大数据工程师,专注于开源大数据领域,从事大数据平台研发工作 鄞乐炜 联通(广东)产业互联网公司 大数据工程师,主要从事大数据平台的应用与引擎端开发 01 背景介绍 我们是联通医疗团队,一直践行 "服务医改,惠及民生" 的使命,全面驱动医疗健康产业数字化.智能化转型. 在调度系统选型初期,我们团队技术栈以 JVM 语言为主,由于 Airflow 的结构体系无法进行充分的改造和融合,因此在开源调度系统的选择上,我们主…