Hadoop对数据仓库的影响

转载http://www.dwway.com/portal.php?mod=view&aid=9065

在过去三年，Hadoop生态系统已经大范围扩展，很多主要IT供应商都推出了Hadoop连接器，以增强Hadoop的顶层架构或是供应商自己使用的Hadoop发行版。鉴于Hadoop的部署率呈指数级的增长，以及其生态系统不断地深入而广泛地发展，我们很想知道Hadoop的崛起是否会导致传统数据仓库解决方案的终结呢。

我们也可以将这个问题放到一个更大的环境中去讨论：在何种程度上，大数据会改变传统数据分析的环境？

数据仓库是技术和软件套件，它能够从操作系统收集数据，并将这些数据整合，并统一到中央数据库中，然后对数据仪表盘上指标进行分析、可视化和追踪关键性能处理。

数据仓库和Hadoop之间的主要区别是：数据仓库通常部署在单个关系数据库中，而这个数据库则起到中央存储的作用。相比之下，Hadoop及其Hadoop文件系统是跨多个机器，并用来处理海量数据的，而这是任何单台机器都达不到的能力。

此外，Hadoop生态系统包括构建在Hadoop核心之上的数据仓库层/服务，而Hadoop上层服务包括SQL（Presto）、SQL-Like（Hive）和NoSQL（Hbase）类型的数据存储。相比之下，在过去的十年中，大型数据仓库转移到使用自定义多处理器设备来扩展数据量，像Netezza（被IBM收购）和Teradata所提供的数据仓库。然而，这些设备都非常昂贵，大多数中小企业都负担不起。

在这种背景下，我们很自然地要问：Hadoop是否是数据仓库的终结者？

为了回答这个问题，我们需要将数据仓库技术与数据仓库部署分开来看。Hadoop（和NoSQL数据库的出现）将预示着数据仓库设备和传统数据仓库单一数据库部署的消亡。

而在这方面就有过实例。Hadoop供应商Cloudera将其平台作为“企业数据枢纽”，这在本质上将传统数据管理解决方案的纳入了需求。ReadWrITe.com在最近发表的一篇题为“为什么专有大数据技术没有希望与Hadoop竞争”的文章中也发表了类似的看法。同样地，最近一篇华尔街日报文章描述了Hadoop如何挑战甲骨文和Teradata。

Hadoop或NoSQL生态系统仍将继续发展。很多大数据环境开始选择NoSQL、SQL甚至是NewSQL数据仓库的混合方法。此外，MapReduce并行处理引擎也有变化和改进，例如Apache的Spark项目。虽然这个故事还远远没有结束，但可以说，传统的单一服务器关系型数据库或数据库设备并不是大数据或数据仓储的未来。

另一方面，数据仓库技术（包括提取—转换—和—加载、三维建模和商业智能）将会应用到新的Hadoop/NoSQL环境。此外，这些技术也将变身来支持更多的混合环境。主要原则是因为并不是所有数据都是平等的，所以IT经理们应该选择数据存储和访问机制来适应数据的使用。混合环境将包括关键价值存储、关系型数据库、图形存储、文档存储、柱状存储、XML数据库、元数据目录等等。

正如你所看到的，这并不是一个简单的问题，也不可能简单地得出一个答案。然而，一般情况下，虽然大数据在未来五年内将会改变数据仓库的部署，但它不会导致数据仓库的概念和做法过时。

对于向数据仓库投入巨资的联邦政府这意味着什么呢？

首先，当现有数据仓库的容量不够时，数据仓库将被转移到基于Hadoop、多机器或云托管的解决方案。其次，企业并不会选择“放之四海而皆准”的做法，而会将目光转向适合其企业内部数据容量的混合存储方法。