DataWorks（数据工场）

一、DataWorks（数据工场）

DataWorks系列视频

https://help.aliyun.com/video_list/107549.html?spm=a2c4g.11174359.3.3.292e240fTm93TJ

 

一、Dataworksv2前世今生

1.1 开发易用、数据稳定性、数据安全、数据调度

1.2 数据全链路

1.3 数据安全

1.4 调度能力

1.5 dataworks 的开发规划

1.6 dataservice studio

二、dataworkv2.0 版本概述与最佳实践

2.1 开发理念的升级

2.2 新旧对比：开发体验优化

2.3 数据掌控力

2.3.1 数据质量智能监控

2.3.2 数据保护伞

2.3.3数据服务

三、DataWorks V2.0数据集成简介与最佳实践

3.1数据集成简介

3.2 操作流程

3.3 最佳实践

四、DataWorks V2.0数据开发功能与用法解析

一、Dataworksv2前世今生

1.1 开发易用、数据稳定性、数据安全、数据调度

1.2 数据全链路

1.3 数据安全

1.4 调度能力

1.5 dataworks 的开发规划

• 流批一体、交互式实时查询、数据应用构建、解决生态赋能

1.6 dataservice studio

二、dataworkv2.0 版本概述与最佳实践

2.1 开发理念的升级

• 标准项目模式，开发与生产两套环境
• 按照业务流程进行划分作业类型（数据集成、开发、资源、函数）
• 解决方案是有机整合所有的业务流程

2.2 新旧对比：开发体验优化

• SQL编辑器优化（代码高亮、补齐、格式化）
• 可视化：查看SQL结构
• 依赖属性：依赖的粒度可以节点了，每个节点调度属性不一样
• 开发：自由的配置任务依赖
• SQL结果分析组件更强大，有excel的部分功能，显示结果1万条
• SQL组件，代码重用，组件的开发模式引入
• 三天内SQL运行历史
• 代码全局搜索功能
• 回收站
• 表管理

2.3 数据掌控力

• 数据质量智能监控、数据保护伞、数据服务

2.3.1 数据质量智能监控

• 处理数据、管理数据、分享数据
• 智能监控：基线预警、事件报警、自定义报警
• 数据质量：

 

2.3.2 数据保护伞

 

 

• 敏感数据跟踪审计功能
• 风险行为的识别，配置规则识别风险行为

2.3.3数据服务

• 将数据表生产API,如BI报表、数据可视化，
• 数据给自己用，数据共享给合作伙伴用、数据销售变现

 

 

三、DataWorks V2.0数据集成简介与最佳实践

3.1数据集成简介

 

3.2 操作流程

• 同步一个表/文件（一批表文件）
• 三种数据源的配置：实列配置（阿里云自身的产品）、有公网Ip(jdbc)、私网ip
• 运行任务：周期运行、测试运行（只跑当前任务）、补数据运行（可以跑当前任务及其下游、可选时间区间）

3.3 最佳实践

（1）同步速度调优，分析同步任务--》任务切分（并发《=2dmu）---》

 

（2）自定义资源组

• 独占同步资源、

• 打通特殊网络

四、DataWorks V2.0数据开发功能与用法解析