金融任务实例实时、离线跑批Apache DolphinScheduler在新网银行的三大场景与五大优化

【金融任务实例实时、离线跑批Apache DolphinScheduler在新网银行的三大场景与五大优化】的更多相关文章

金融任务实例实时、离线跑批Apache DolphinScheduler在新网银行的三大场景与五大优化

在新网银行,每天都有大量的任务实例产生,其中实时任务占据多数.为了更好地处理任务实例,新网银行在综合考虑之后,选择使用 Apache DolphinScheduler 来完成这项挑战.如今,新网银行多个项目已经完成了实时与准实时的跑批,指标管理系统的离线跑批,应用于离线数据开发和任务调度.准实时数据开发和任务调度,以及其他非 ETL 用户定义数据跑批三类场景中. 为了更好地适应业务需求,新网银行是如何基于Apache DolphinScheduler 做改造的呢?在 Apache Dolphin…

Apache DolphinScheduler 1.3.9 发布，新增 StandaloneServer

点击上方蓝字关注我们 2021 年 10 月 22 日,Apache DolphinScheduler 正式发布 1.3.9 版本.时隔一个半月,在社区贡献者的共同努力下,Apache DolphinScheduler 1.3.9 为大家带来了 StandaloneServer,这是本版本的一项重大更新,也意味着其在易用性上又迈出了一步,详情将在下文介绍.另外,本次升级还修复了 1.3.8 的两个重要 bug. 1.3.9 下载地址:https://dolphinscheduler.apac…

日均 6000+ 实例，TB 级数据流量，Apache DolphinScheduler 如何做联通医疗大数据平台的“顶梁柱”？

作者 | 胡泽康鄞乐炜作者简介胡泽康联通(广东)产业互联网公司大数据工程师,专注于开源大数据领域,从事大数据平台研发工作鄞乐炜联通(广东)产业互联网公司大数据工程师,主要从事大数据平台的应用与引擎端开发 01 背景介绍我们是联通医疗团队,一直践行 "服务医改,惠及民生" 的使命,全面驱动医疗健康产业数字化.智能化转型. 在调度系统选型初期,我们团队技术栈以 JVM 语言为主,由于 Airflow 的结构体系无法进行充分的改造和融合,因此在开源调度系统的选择上,我们主…

实时离线一体化在资产租赁saas服务中使用

流水查询需求需求第一期: 基于TB级的在线数据,支持缴费帐单明细在线查询.大家都知道,像银行帐单流水一样,查几年的流水是常有的事. 支持的维度查询:帐期.欠费状态.日期范围.费用科目类型.房屋分类.房屋所属项目.关联合同信息.统计列什么是实时数据实时可以分为:实时采集.实时计算.高性能,底延时的产出结果数据.实时数据指从源系统中实时采集的数据,以及对实时采集的数据进行实时计算直接产生的中间数据或结果数据.实时数据具有时间有效性,随着时间的推移,实时数据会失效. 即时查询系统房屋租赁费用.…

SQL Server自动化运维系列——监控跑批Job运行状态（Power Shell）

需求描述在我们的生产环境中,大部分情况下需要有自己的运维体制,包括自己健康状态的检测等.如果发生异常,需要提前预警的,通知形式一般为发邮件告知. 在上一篇文章中已经分析了SQL SERVER中关于邮件的基础配置,本篇将利用此功能对多台Server的跑批Job进行监控. 本篇实现 1.每天检查服务器中的SQL Server跑批Job的运行状态,如果跑批失败,则发邮件告诉管理员失败的明细 2.解决多台服务器同时检查监控脚本首先我们来解决第二个问题,关于多台服务器的问题: <1>一般监控我们需…

Oracle数据库设计实例-实时生产效率系统数据库设计

Oracle数据库设计实例-实时生产效率系统数据库设计引言 1.1 设计前提某部门经理要求IT部门设计一个流水线实时生产效率系统,用来统计实时的生产量和效率.流水线有数百条,实时间隔为1min. 1.2 编写目的本文档是生产效率监控系统设计文档的组成部分,编写数据库设计文档的目的是:明确数据库的表名丶字段名等数据信息,用来指导后期的数据库脚本的开发,本文档遵循<数据库设计和开发规范>.本文档的读者对象是需求人员丶系统设计人员丶开发人员丶测试人员. 数据库环境说明数据库实例数据库系统…

elasticJob分片跑批

业务迅速发展带来了跑批数据量的急剧增加.单机处理跑批数据已不能满足需要,另考虑到企业处理数据的扩展能力,多机跑批势在必行.多机跑批是指将跑批任务分发到多台服务器上执行,多机跑批的前提是”数据分片”.elasticJob通过JobShardingStrategy支持分片跑批. 跑批配置需要做如下修改: shardingTotalCount:作业分片总数. jobShardingStrategyClass:作业分片策略实现类全路径,elasticJob默认提供了如下三种分片策略,AverageAll…