Kettle学习系列之数据仓库、数据整合、ETL、ELT和EII之间的区别？

　　不多说，直接上干货！

　　在数据仓库领域里，的一个重要概念就是数据整合（data intergration）。数据整合它就是把不同数据库中的数据整合到一起，对外提供统一的数据视图。

　　数据整合最典型的案例就是整合存货数据和订单数据。数据整合的另一个案例就是把各个部门的客户关系管理系统中的客户信息整合到公司客户关系管理系统中。

　　数据整合是一个比ETL更加广泛的概念，ETL是指从一个或多个数据源抽取数据，经过一个或多个转换步骤后，物理地存储到目标环境中，目标环境通常是数据仓库。

　　ETL是data integration中的一种而已。

　   　　1、抽取：一般抽取过程需要连接到不同的数据源，以便为随后的步骤提供数据。这一部分看上去简单而繁琐，实际上它是ETL解决方案成功实施的一个主要障碍。

　　　　 2、转换：在抽取和加载之间的，任何对数据的处理过程都是需要转换。这些处理过程通常包括（但不局限于）下面的这些操作:

　　　　　　　　移动数据

　　　　　　　　根据规则验证数据

　　　　　　　　数据内容和数据结构的修改

　　　　　  　　集成多个数据源的数据

　　　　      　　根据处理后的数据计算派生值和聚集值

　　　  3、加载：将数据加载到目标系统的所有操作。

　  一图胜千言！

　　

　　　　　　　　　　　数据仓库典型架构图

　　在上图中，有多个业务源系统，一个数据中转区，一个保存了所有历史数据的数据仓库和多个可以由终端用户访问的数据集市。

　　这些组成部分都是由数据整合过程来完成的，就是上图中显示的ETL。

　 在源系统和数据仓库之间，有一个数据中转区，也可以叫做数据缓冲区。它仅用来快速地从源数据系统中获取数据，并暂时保留这些数据。它不一定是一个数据仓库，在很多情况下，将数据保存在ASCII文件中比插入数据库表中还要快。

ELT和ETL的区别

　　ELT，（即抽取、加载和转换的简称），在同ETL在数据整合的方法上有略微不同。在ETL的情况下，数据首先从源数据（可能是多个）进行抽取、加载到目标数据库中，再转换为所需的格式。所有大数据量处理全部放在目标数据库中进行。这种做法的好处在于，一般情况下，数据库系统更适合处理负荷在百万级以上的数据集成。

　　ELT工具需要知道，如何使用目标数据库平台和相应的SQL语言。这就是在市面ELT解决方案较少的原因，类似Kettle这样的通用ETL工具也同样缺少这些功能。

　　EII是虚拟数据整合，为什么要提出呢？因为啊，ETL和ELT都属于物理数据整合。即都是以物理方式将数据从OLTP移动或复制到数据仓库。

　　

　　有些情况啊，没有必要移动或复制数据。实际上，大多数用户并不关心ETL过程和数据仓库：他们只是想获得他们想要的数据！好比，我把上图比喻成饭店的厨房吧，我作为一个顾客并不关心饭菜是如何做出的，我只是希望能准时并且味道口可就行，什么厨房里发生事情跟我顾客身份无关。

　　那么，这个生活里的道路，也适合在数据仓库里：即有些用户并不关心数据是如何处理的，他们紫红色想快速而容易访问到数据就行。

　  即，除了属于物理数据集成方式里的ETL和ELT外，还有属于虚拟数据集成方式的EII。

虚拟数据集成和物理数据集成的比较

　　    当然，我这系列博客，是定位于Kettle，目前最流行、功能最强大的数据整合工具是Kettle，也被称为Pentaho  Data  Integration。

欢迎大家，加入我的微信公众号：大数据躺过的坑        人工智能躺过的坑

 

 

 

同时，大家可以关注我的个人博客：

   http://www.cnblogs.com/zlslch/   和     http://www.cnblogs.com/lchzls/      http://www.cnblogs.com/sunnyDream/   

   详情请见：http://www.cnblogs.com/zlslch/p/7473861.html

　　人生苦短，我愿分享。本公众号将秉持活到老学到老学习无休止的交流分享开源精神，汇聚于互联网和个人学习工作的精华干货知识，一切来于互联网，反馈回互联网。
　　目前研究领域：大数据、机器学习、深度学习、人工智能、数据挖掘、数据分析。 语言涉及：Java、Scala、Python、Shell、Linux等 。同时还涉及平常所使用的手机、电脑和互联网上的使用技巧、问题和实用软件。 只要你一直关注和呆在群里，每天必须有收获

对应本平台的讨论和答疑QQ群：大数据和人工智能躺过的坑（总群）（161156071）