一、DataWorks（数据工场）
DataWorks系列视频
 
一、Dataworksv2前世今生
1.1 开发易用、数据稳定性、数据安全、数据调度
1.2 数据全链路
1.3 数据安全
1.4 调度能力
1.5 dataworks 的开发规划
  • 流批一体、交互式实时查询、数据应用构建、解决生态赋能
1.6 dataservice studio
二、dataworkv2.0 版本概述与最佳实践
2.1 开发理念的升级
  • 标准项目模式，开发与生产两套环境
  • 按照业务流程进行划分作业类型（数据集成、开发、资源、函数）
  • 解决方案是有机整合所有的业务流程
2.2 新旧对比：开发体验优化
  • SQL编辑器优化（代码高亮、补齐、格式化）
  • 可视化：查看SQL结构
  • 依赖属性：依赖的粒度可以节点了，每个节点调度属性不一样
  • 开发：自由的配置任务依赖
  • SQL结果分析组件更强大，有excel的部分功能，显示结果1万条
  • SQL组件，代码重用，组件的开发模式引入
  • 三天内SQL运行历史
  • 代码全局搜索功能
  • 回收站
  • 表管理
2.3 数据掌控力
  • 数据质量智能监控、数据保护伞、数据服务
2.3.1 数据质量智能监控
  • 处理数据、管理数据、分享数据
  • 智能监控：基线预警、事件报警、自定义报警
  • 数据质量：
 
2.3.2 数据保护伞
 
 
  • 敏感数据跟踪审计功能
  • 风险行为的识别，配置规则识别风险行为
2.3.3数据服务
  • 将数据表生产API,如BI报表、数据可视化，
  • 数据给自己用，数据共享给合作伙伴用、数据销售变现
 
 
三、DataWorks V2.0数据集成简介与最佳实践
3.1数据集成简介
 
3.2 操作流程
  • 同步一个表/文件（一批表文件）
  • 三种数据源的配置：实列配置（阿里云自身的产品）、有公网Ip(jdbc)、私网ip
  • 运行任务：周期运行、测试运行（只跑当前任务）、补数据运行（可以跑当前任务及其下游、可选时间区间）
3.3 最佳实践
（1）同步速度调优，分析同步任务--》任务切分（并发《=2dmu）---》
 
（2）自定义资源组
  • 独占同步资源、
  • 打通特殊网络
四、DataWorks V2.0数据开发功能与用法解析

DataWorks（数据工场）的更多相关文章

  1. 阿里云dataworks数据工场用户使用子账号

    如果您是第一次使用子账号登录数加平台和使用DataWorks,您需要获知以下内容: 该子账号所属主账号的企业别名. 该子账号的用户名和密码. 该子账号的AccessKey ID和AccessKey S ...

  2. 海量大数据大屏分析展示一步到位：DataWorks数据服务对接DataV最佳实践

    1. 概述 数据服务(https://ds-cn-shanghai.data.aliyun.com)  是DataWorks产品家族的一员,提供了快速将数据表生成API的能力,通过可视化的向导,一分钟 ...

  3. 海量大数据大屏分析展示一步到位：DataWorks数据服务+MaxCompute Lightning对接DataV最佳实践

    1. 概述 数据服务(https://ds-cn-shanghai.data.aliyun.com) 是DataWorks产品家族的一员,提供了快速将数据表生成API的能力,通过可视化的向导,一分钟“ ...

  4. 通过DataWorks数据集成归档日志服务数据至MaxCompute进行离线分析

    通过DataWorks归档日志服务数据至MaxCompute 官方指导文档:https://help.aliyun.com/document_detail/68322.html但是会遇到大家在分区上或 ...

  5. DataWorks使用小结（一）——概述

    一.概述 DataWorks数据工场,是MaxComputer的可视化开发平台,一站式开发.管理界面 1.功能概述 1.强大调度:支持分钟到月的调度 2.多种任务:支持ODPS.SHELL等多种任务 ...

  6. 阿里云DataWorks实践：数据集成+数据开发

    简介 什么是DataWorks: DataWorks(数据工场,原大数据开发套件)是阿里云重要的PaaS(Platform-as-a-Service)平台产品,为您提供数据集成.数据开发.数据地图.数 ...

  7. 【阿里云-大数据】阿里云DataWorks学习视频汇总

    阿里云DataWorks学习视频汇总 注意:本文档中引用的视频均来自阿里云官方的帮助文档,本文档仅仅是汇总整理,方便学习. 阿里云DataWorks帮助文档链接:https://help.aliyun ...

  8. MaxCompute/DataWorks权限问题排查建议

    MaxCompute/DataWorks权限问题排查建议 __前提:__MaxCompute与DataWorks为两个产品,在权限体系上既有交集又要一定的差别.在权限问题之前需了解两个产品独特的权限体 ...

  9. JSON数据从MongoDB迁移到MaxCompute最佳实践

    数据及账号准备 首先您需要将数据上传至您的MongoDB数据库.本例中使用阿里云的云数据库 MongoDB 版,网络类型为VPC(需申请公网地址,否则无法与DataWorks默认资源组互通),测试数据 ...

随机推荐

  1. webpack学习之路--demo1

    1.不使用框架建立webpack项目时 (1).npm init -y 生成package.json文件 (2).npm install --save-dev webpack 在当前项目下安装webp ...

  2. Promise 的使用

    Promise 的使用,用于异步处理 ,以及解决地狱回调的: 1.  Promise 是一个构造函数,既然是构造函数,我们就可以 new Promise() 就可以得到一个 Promise 的实例 2 ...

  3. spark 笔记 10: TaskScheduler相关

    任务调度器的接口类.应用程序可以定制自己的调度器来执行.当前spark只实现了一个任务调度器) )))))val createTime = System.currentTimeMillis()clas ...

  4. redis high available solution/ redis 高可用方案

    http://developers.linecorp.com/blog/?p=1420 http://engineering.docusign.com/articles/redis-sentinel- ...

  5. koa 基础（二）配置路由

    1.配置路由 app.js // 引入模块 const Koa = require('koa'); const Router = require('koa-router'); // 实例化 let a ...

  6. Oracle_Windows server ORA-01031: insufficient privileges

    PS C:\Users\admin> sqlplus / as sysdba SQL*Plus: Release 11.2.0.1.0 Production on 星期二 9月 3 10:21: ...

  7. Windows UI Library - Roadmap Win UI3.0

    https://github.com/microsoft/microsoft-ui-xaml/blob/master/docs/roadmap.md 微软更新太快了.是不是要把开发人员折磨死.... ...

  8. Selenium 2自动化测试实战4（引用模块）

    一.模组1.模组也叫类库或模块,引用模块 在python中,通过import….或from….import….的方式引用模块,下面引用time模块 import time print (time.ct ...

  9. 【HTML】---HTML语义化

    1.什么是HTML语义化? <基本上都是围绕着几个主要的标签,像标题(H1~H6).列表(li).强调(strong em)等等> 根据内容的结构化(内容语义化),选择合适的标签(代码语义 ...

  10. Platform区分不同平台

    用于区分平台 OS 属性 表示当前的平台类型.只有 ios 与 android 两个值.如可以使用为同一个属性在不同的平台上赋不同的值 const styles = StyleSheet.create ...