数据仓库模型ETL架构(DWI/DWR/DM)

【数据仓库模型ETL架构(DWI/DWR/DM)】的更多相关文章

数据仓库模型ETL架构(DWI/DWR/DM)

1.DWI DWI:数据湖.数据砥柱,一般存放在HDFS 数据仓库的基础数据来源,各种杂七杂八的数据关键点:数据清洗.数据整合.异常处理.增量获取 ETL:E-数据抽取.数据清洁.格式转换,T-生成代理键ID.遵循三范式,L-数据加载 2.DWR DWR:数据仓库的中间层,星型结构根据业务划分:维度数据(区域.项目.工厂等).交易数据(存量.发货.订单等) 3.DM DM:数据市场按照业务组划分为9大责任中心(区域.系统部.集团.运营商.企业网.消费者.费用中心.DM Base.DM Su…

数据仓库之ETL漫谈

ETL,Extraction-Transformation-Loading的缩写,中文名称为数据抽取.转换和加载. 大多数据仓库的数据架构可以概括为: 数据源-->ODS(操作型数据存储)-->DW-->DM(data mart) ETL贯穿其各个环节. 一.数据抽取: 可以理解为是把源数据的数据抽取到ODS或者DW中. 1. 源数据类型: 关系型数据库,如Oracle,Mysql,Sqlserver等; 文本文件,如用户浏览网站产生的日志文件,业务系统以文件形式提供的数据等: 其他外…

数据仓库-数据采集-ETL漫谈

数据仓库之ETL漫谈ETL,Extraction-Transformation-Loading的缩写,中文名称为数据抽取.转换和加载.大多数据仓库的数据架构可以概括为:数据源-->ODS(操作型数据存储)-->数据仓库(DW)-->数据集市(DM) 一.数据抽取:可以理解为是把源数据的数据抽取到ODS或者DW中.1. 源数据类型: 关系型数据库,如Oracle,Mysql,Sqlserver等; 文本文件,如用户浏览网站产生的日志文件,业务系统以文件形式提供的数据等: 其他外部数据,如…

ETL的两种架构（ETL架构和ELT架构）

ETL ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract).转换(transform).加载(load)至目的端的过程.ETL一词较常用在数据仓库,但其对象并不限于数据仓库. ETL是构建数据仓库的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去. ETL在转化的过程中,主要体现在以下几方面: 空值处理:可捕获字段空值,进行加载或替换为其他含义数据,并可根据字段空…

（ETL）ETL架构师面试题（转载）

1. What is a logical data mapping and what does it mean to the ETL team?什么是逻辑数据映射?它对ETL项目组的作用是什么? 答:逻辑数据映射(Logical Data Map)用来描述源系统的数据定义.目标数据仓库的模型以及将源系统的数据转换到数据仓库中需要做操作和处理方式的说明文档,通常以表格或Excel的格式保存如下的信息: 目标表名: 目标列名: 目标表类型:注明是事实表.维度表或支架维度表. SCD类型:对于维度表而…

TOGAF架构能力框架之架构合同、成熟度模型和架构技能框架

TOGAF架构能力框架之架构合同.成熟度模型和架构技能框架 5. 架构合同架构合同是在开发团体和赞助者之间关于架构的交付物.质量以及适用目标的联合协议,并且通过有效的架构治理将会促使这些协议的成功施行.通过对合同的管理施行一个治理方法,如下几点将会得到保障: 一个连续监测系统,用于检查完整性.变更.决策,并对组织内所有架构相关活动进行审计. 与现存的或正在开发中的架构相关的原则.标准和需求得以被坚持. 明确存在于架构的开发.实现和运营中的各种风险. 一系列流程和实践得以被制定,从而保障针对所有…

数据仓库和ETL建设

这个是Ralph kimball ETL的书籍,其中第10章主要讲如何管理数据仓库团队,ETL团队是属于数据仓库团队的:第一章和第二章是概况性的介绍,强烈建议大家都看下1/2/10章,对于大家形成对数据仓库和ETL共同的认识. 下面和大家分享下一些观点,英文的都是从Ralph kimball的书里面摘抄下来的,大家可以到书中对应章节看更详细的介绍,中文截图来自互联网.希望对大家形成common knowledge有帮助. ETL团队必须和业务需求结合在一起: 2. ETL团队的角色包括数据仓库架…