点击上方 蓝字关注我们 作者 | 宋哲琦 ✎ 编 者 按 在不久前的 Apache  DolphinScheduler Meetup 2021 上,有赞大数据开发平台负责人 宋哲琦 带来了平台调度系统从 Airflow 迁移到 Apache  DolphinScheduler 的方案设计思考和生产环境实践. 这位来自浙江杭州的 90 后年轻人自 2019 年 9 月加入有赞,在这里从事数据开发平台.调度系统和数据同步组件的研发工作.刚入职时,有赞使用的还是同为 Apache 开源项目的 Airf…

今天给大家带来的分享是基于 Apache DolphinScheduler 的数据质量检查实践,分享的内容主要为以下四点: " 为什么要做数据质量检查? 为什么要基于 DolphinScheduler 做数据质量检查? 基于 DolphinScheduler 的数据质量服务的设计和实现 不足和规划 1 为什么要做数据质量检查 在今天,数据已经成为企业的新型资产,有效的数据能够支撑企业的分析和决策,而错误的数据却可能会带来负面的影响,我们一起来看下数据质量差会带来什么问题: 数据可信度低 影响数据…

JEECG是一款基于代码生成器的J2EE快速开发平台,开源界“小普元”超越传统商业企业级开发平台.引领新的开发模式(Online Coding模式(在线开发)->代码生成器模式->手工MERGE智能开发),可以帮助解决Java项目60%的重复工作,让开发更多关注业务逻辑.既能快速提高开发效率,帮助公司节省人力成本,同时又不失灵活性.具备:表单配置能力(无需编码).移动配置能力.工作流配置能力.报表配置能力(支持移动端).插件开发能力(可插拔) JEECG 微云快速开发平台 当前最新版本: 3.…

基于FPGA的图像开发平台 其他摄像头附件说明 FPGA_VIP_V101 编者 奇迹再现 个人博客 http://www.cnblogs.com/ccjt/ 联系邮箱 Shenyae86@163.com 淘宝网址 http://ccjt.taobao.com 修订记录 见下页 版权归奇迹再现所有,抄袭请注明出处, 参考文献:CrazyBingo原创相关文档.请尊重原创. 前言: 本系统方案理论适合DVP绝大部分摄像头测试,调试及开发,针对其他摄像头,因为寄存器参数不同,需要进行相应移植. 目前…

9月11日,在腾讯全球数字生态大会大数据专场上,腾讯云大数据产品副总经理雷小平重磅发布了全链路数据开发平台WeData,同时发布和升级了流计算服务.云数据仓库.ES.企业画像等6款核心产品,进一步优化和提升了腾讯云大数据的全托管能力,助力企业从基础设施层.场景开发层以及行业应用层快速构建一站式大数据平台能力. 「 借助WeData,企业数据开发门槛降低60%」 雷小平表示:"构建大数据开发平台是企业数字化转型的关键步骤,然而从数据集成到开发调度等涉及的模块众多,导致整个平台的维护和升级成本非常高…

Jeecg-Boot 是一款基于代码生成器的智能开发平台!采用前后端分离架构:SpringBoot,Mybatis,Shiro,JWT,Vue&Ant Design.强大的代码生成器让前端和后台代码一键生成,不需要写任何代码,保持jeecg一贯的强大,绝对是全栈开发福音!! JeecgBoot在提高UI能力的同时,降低了前后分离的开发成本,JeecgBoot还独创在线开发模式(No代码概念),一系列在线智能开发:在线配置表单.在线配置报表.在线图表设计.在线设计流程等等. JEECG宗旨是: 简…

一.需求 由于公司各个部门对业务数据的需求,比如进行数据分析.报表展示等等,且公司没有相应的系统.数据仓库满足这些需求,最原始的办法就是把数据提取出来生成excel表发给各个部门,这个功能已经由脚本转成了平台,交给了DBA使用,而有些数据分析部门,则需要运维把生产库的数据同步到他们自己的库,并且需要对数据进行脱敏,比如客户的身份证号.手机号等等,且数据来源分散在不同的机器,不同的数据库实例里,这样就无法使用MySQL的多源复制,只能用写脚本通过SQL语句实现,随着业务的发展,导致堆积到运维部门的…

可自我扩展的智能开发平台       在开发平台设计过程中,联科研发部一開始就希望能研发一套智能开发机制能自己开发自己的平台-即一个能自我修复和自我扩展的开发平台.这个开发平台不但能开发其它应用还能不断的完好自己的能力,从而更好的提升开发效率和自我进化,也为平台的不断发展提供源源不断的动力. 採用J2EE架构全然自主研发 1.全然基于自主研发的系统框架       2.底层核心未採用不论什么开源框架(如SSH)       3.全然自有知识产权 稳定成熟可靠        10年专注研发稳定性.…

一.什么是快速开发平台 快速开发平台,顾名思义就是可以使得开发更为快速的开发平台,是提高团队开发效率的生产力工具.近一两年,国内很多公司越来越注重研发效能的度量和提升,基于软件开发的特点,覆盖管理和优化.团队工程实践.个人工程实践.优化流程四大方面.本文所讲的快速开发平台可以大幅缩短需求周期,给研发效能带来了开发快.上线快.风险低.成本低.门槛低的优点. 用制造业来做个对比,被誉为"工业之母"的模具可以大幅提升生产效率,而快速开发平台也可以做到在1分钟内完成需求的开发.上线:另外3D打…

Aquameta 是一个完全基于pg 开发的web平台 ,目前还在开发中. 当前支持的功能 meta 写入系统信息到pg bundle 基于pg 类似git 的文件系统 filesystem 双向文件系统 event 分布订阅更改api endpoint 将pg 的权限以及数据映射到weeb,并允许基于web的访问 widget 模块化的web 组件 semantics 语义,一个基于数据库schema的元数据层,定义widget 与列的关系,装饰key 说明 Aquameta 这个项目架构很奇…