Hadoop组件构成

Hadoop平台重要组件：

1、ZooKeeper

• 一个分布式应用程序协调服务。
• 包含简单的原语集、实现统一命名服务、配置管理、分布式锁服务、集群管理等功能。

2、Cascading

• 架构在 Hadoop 上的 API，用来创建复杂和容错数据处理工作流。
• 抽象了集群拓扑结构和配置来快速开发分布式应用。

3、HBase

• HBase 是一个 Column-based 的 NOSQL 数据库。
• 基于 HDFS 进行文件存储，基于 Zookeeper 进行 failover 和调度。

4、Hive

• 基于 Hadoop 的数据仓库平台，实现类 SQL 操作。
• 易于进行 ETL 操作。

5、Sqoop

• 将 Hadoop 与关系型数据库中的数据相互转移的工具。
• 实现 HDFS 与 DBMS 间数据互迁移。

6、Pig

• 基于 Hadoop 的大规模数据分析工具，提供类 SQL 的 Pig Latin 语言，进行数据处理。
• 实现 SQL 任务和 MR 运算转换。

7、Mahout

• 开源的、可扩展的机器学习算法库。
• 基于 Hadoop 和 MapReduce 运行，具有良好的扩展性。

8、itellicus

• 具有先进 UI 报表功能的 BI 工具。
• 支持多种数据源：Hadoop,NOSQL,MPP,RDBMS。

9、Avro

• 由 Hadoop 的创始人 Doug Cutting 开发，是一个数据序列化系统，设计用于支持大批量数据交换的应用。
• 支持二进制序列化方式。

10、ChuKwa

• 用于监控大型分布式系统的数据收集系统，基于 Hadoop 框架。
• 用于展示、监控和分析已收集的数据。