Data Vault玩转数据仓库(三)
在Data Vault 2.0版本里,其不只是针对数据仓库的建模,同时也包含了架构,方法论以及实现。这篇挑几个概念,附上我个人对其的理解。同时也把这个系列的名字改成《Data Vault玩转数据仓库》。
ETL和ELT
ELT火了有段时间,百度上高雅的介绍很多,不扯别的,咱直接来点俗的:
- E就是抽取,数据从源系统进入到数据仓库的过程。
- T是指转换,类型转换,计算什么的都算在内。
- L加载,把结果加载到数据仓库里。
- E和L可能从汉语的角度看有些像,如果说区别的话就是前者是从源系统到数据仓库的,后者是数据仓库内的折腾。
- ETL就是把数据从源系统抽取的过程中做转换。
-- 缺点是这个过程也会消耗源系统的资源,可能对源系统造成影响,比如对方在做日结。
- ELT就是把数据先原封不动的放在DWH底层里,然后再在这个基础上做转换。
-- 这样除了抽取消耗点源系统的资源,剩下的处理都是消耗数据仓库的资源,降低对源系统的影响。
所以数据仓库项目通常建议用ELT的方法,除非源系统的数据和压力没那么大。
STAGE和PSA
这个概念好多地方的解释都不太一样,以下是我个人的理解:
STAGE层负责整合,源系统的数据一对一的放在这里,比如你的数据仓库是SQL Server,那么甭管源系统是Oracle还是MySQL,通过数据加载工具都变成SQL Server的加载到这里。
STAGE再往下就是PSA,跟STAGE不同的是PSA是要保留数据的历史状态的。关于如何保留目前主流有两个方法,一个是基于SCD2的方法论,一个是INSERT ONLY的方法论。相对支持后者的比较多一些,主要是因为SCD2对于更新或者删除数据的处理需要找到历史的数据进行物理更新(UPDATE VALUT_TO_DATE),在数据量很大的时候性能影响很大。而INSERT ONLY的方法在后期查询的时候会麻烦一些,因为它只有VALID_FROM_DATE,而没有VALID_TO_DATE,所以在下游处理的时候就需要根据记录的时间线把其算出来。
至于如何快速比对一个数据是否变化了,请参考我的上一篇。
我也见很多人在讨论,有PSA了还需要DV吗?这个我个人理解还是好比盖高楼,业主着急住,但是电梯还没装,业主能住吗?能,也不能。这个问题是同样的道理。
自动化的工具
有什么工具可以基于配置来通过元数据以及数据建模的方式自动化生成Data Vault模型呢?
首先是大名鼎鼎的ERWin,从官网可以看到其对Data Vault的支持。业界老品牌,知名度高。这家公司在国内有雇员,所以感觉英文有压力的话可以寻求他们的辅助。
在这个圈子里比较火的是WhereScape,也是海外厂商。主要是有Dan Linsted为其站台。这个平台目前我没有发现中文的支持,所以跟这家公司沟通需要英文功底。
以上两款工具都是商业软件,没有免费以及社区版本,就连试用版本(针对data vault自动化这部分)也没有,特殊版本更不用说。授权和支持费用不低,但是考虑到项目总体成本的话还是很划算的,比如在北京雇佣一个中级ETL开发,一年的成本差不多就够这个软件的授权和支持费用了。而如果不用这类工具,你的成本肯定不止一个程序员的成本。
再说开源的平台,我个人一直在关注Roelant vos的开源项目,在github上很容易找到。我在做自己的自动化工具的时候也参考了他很多的想法和实现,比如handlebars的模板结合元数据自动生成代码,还有DGML来可视化观察数据的来龙去脉等。同时他的博客也不错,在这个领域贡献了很多内容,这个在我第一篇中也有提到。
Data Vault玩转数据仓库(三)的更多相关文章
- 数据仓库之Data Vault模型总结
一,Data Vault模型有几个主要的组件,这里先总结一下: 1.Hub组件,是一个数据表,用于记录在业务应用中常用到的业务实体键值,如员工ID,发票号.客户编号.车辆号等. 表内包括几个关键字段: ...
- 利用Data vault对数据仓库建模
简介 国内关于Data Vault的信息很少,所以决定写点什么,纯粹都是自己在这个行业10多年的摸爬滚打.不过为了效率,尽量做到简短,直接上干货.对于各个细节大家有不同的理解欢迎来讨论. 数据仓库建模 ...
- 利用Data Vault对数据仓库进行建模(二)
写在前面 本篇先不讨论Data Vault其本身,因为不见得所有人都接受这个.但是里边有一些很不错的东西跟主流的数据仓库方法是有共同点的,所以这里主要讨论这些共同的方法,在笔者看来,无论是Kimbal ...
- Data Vault 简介
Data Vault 简介 Data Vault 2.0 不仅是建模技术,也提供了一整套数据仓库项目的方法论.它能提供一套非常可行的方案来满足数据仓库项目中对于历史轨迹和审核两个方面的需求. 多年来, ...
- 关于Core Data的一些整理(三)
关于Core Data的一些整理(三) 关于Core Data Stack的四种类与它们的关系如下: NSManagedObjectModel NSPersistentStore NSPersiste ...
- java Data、String、Long三种日期类型之间的相互转换
java Data.String.Long三种日期类型之间的相互转换 // date类型转换为String类型 // formatType格式为yyyy-MM-dd HH:mm:ss// ...
- [转]在eclipse打开的android虚拟手机,打开File Explorer,下面是空的没有data、mnt、system三个文件
在eclipse打开的android虚拟手机,打开File Explorer,下面是空的没有data.mnt.system三个文件 这是因为模拟器没有选择打开的缘故,必须首先打开一个模拟器(AVD), ...
- Cross-Domain Security For Data Vault
Cross-domain security for data vault is described. At least one database is accessible from a plural ...
- SQL Server调优系列玩转篇三(利用索引提示(Hint)引导语句最大优化运行)
前言 本篇继续玩转模块的内容,关于索引在SQL Server的位置无须多言,本篇将分析如何利用Hint引导语句充分利用索引进行运行,同样,还是希望扎实掌握前面一系列的内容,才进入本模块的内容分析. 闲 ...
随机推荐
- MyBatis-Plus使用(1)-概述+代码生成器
MyBatis-Plus(简称 MP)是一个 MyBatis 的增强工具,在 MyBatis 的基础上只做增强不做改变,为简化开发.提高效率而生. 官网:https://mp.baomidou.com ...
- 关于SqlServer那些事1(回归基础)
即将实习,回归基础总结,希望可以再好好打磨一下基础的一些东西 关于如何在重新修改表结构时该变其权限设置 步骤: 点击工具 进入选项 设计器 取消勾选阻止保存要求重新创建表的更改 关于创建创建数据库以及 ...
- 使用javaScript 取cookie时需要注意的
function getCookie(name) { var cookies = window.top.document.cookie.split('; ');//分号后面有个空格 for (var ...
- 【BZOJ2588】Count on a tree 题解(主席树+LCA)
前言:其实就是主席树板子啦……只不过变成了树上的查询 -------------------------- 题目链接 题目大意:求树上$u$到$v$路径第$k$大数. 查询静态区间第$k$大肯定是用主 ...
- QString字符串的查找与截取实例
QString是Qt中封装的字符串类,相对于标准库里的string,使用方法有些不同,个人感觉使用qt习惯后,感觉QString更好用,下面的代码主要是针对QString的字符查找.截取做的测试: # ...
- 一招教你如何在Python中使用Torchmoji将文本转换为表情符号
很难找到关于如何使用Python使用DeepMoji的教程.我已经尝试了几次,后来又出现了几次错误,于是决定使用替代版本:torchMoji. TorchMoji是DeepMoji的pyTorch实现 ...
- Python玩转各种多媒体,视频、音频到图片
我们经常会遇到一些对于多媒体文件修改的操作,像是对视频文件的操作:视频剪辑.字幕编辑.分离音频.视频音频混流等.又比如对音频文件的操作:音频剪辑,音频格式转换.再比如我们最常用的图片文件,格式转换.各 ...
- Java基础—字符串
事实上,Java是没有内置的字符串类型的,而是在标准Java类库中提供了一个预定义类String.每个用双引号括起来的字符串都是String类的一个实例: String str = "&qu ...
- NLP Github
作者:cstghitpku链接:https://zhuanlan.zhihu.com/p/51279338来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业转载请注明出处. 1.分词 Wo ...
- 【Docker】 Error running deviceCreate (CreateSnapDeviceRaw)
问题详细信息: [root@passport docker]# docker-compose -f docker-compose.yml up -ddocker_db_1_1651de706222 i ...