[大数据]Hadoop简述

1 Hadoop：发展沿革

摘要：1个人（Doug Cutting）、2个公司(Google、Cloudera)

1.1 渊源

• Hadoop项目
  • 最初开发者/创始者： Doug Cutting（道格·卡丁，现任 Apache 基金会的主席)
    • 1985年 毕业于 美国斯坦福大学
    • 1997年 发布 Lucene 项目
    • 2004年 发布 Nutch 项目
    • 2006年 发布 Hadoop项目(Hadoop从Nutch中独立，以便支持MapReduce与HDFS的发展)
    • 2006年2月 受邀加入 Yahoo
    • 2009年 以首席架构师身份加入 Cloudera(2008.6.27成立/2017年上市)
    • 20xx年 当选 Apache 基金会主席
  • 命名由来：Doug Cutting 起先给他孩子的1个棕色的大象的玩具的名字（简短、容易发音、易于拼写）
  • 最初的模块： HDFS 与 MapReduce （后期不断加入Hbase、Hive等子模块项目，直至最终Hadoop泛化成为云计算与大数据产业链中的1个超大概念）
  • 灵感的起源：Google的3篇论文
    • 2003年 The Goolge File System
      • Google File System论文翻译 - CSDN
    • 2004年 MapReduce：Simplified Data Processing on Large Clusters
    • 2006年 Bigtable: A Distributed Storage System for Structured Data

1.2 发展沿革

1.3 Cloudera公司

2 Hadoop：体系架构与软件生态

• 黑框：非Hadoop原本组件
• 红框：Hadoop核心组件

[推荐文献]

• hadoop生态系统主要架构图汇总 - 博客园

3 Hadoop：模块构成

• Hadoop Common：支撑其他模块
• Hadoop Distributed File System ：分布式文件系统（对应用系统提供高吞吐量的访问）
• Hadoop Yarn：资源管理和任务调度的框架
• Hadoop MapReduce：能够并行处理大数据集的Yarn最核心、最基本模块
• Apache Sqoop: RDBMS(MySQL / Oracle等)与Hadoop(HBase/Hive/HDFS等)之间导入/迁入、导出/迁出的ETL工具

推荐此文:Sqoop学习之路 （一） - 博客园

4 Hadoop发行版(开源版)

Apache Hadoop

推荐使用最新的2.x.x版本，比如:2.4.0。Apache版本是最原始（最基础）的版本，对于入门学习最好。

下载地址:http://hadoop.apache.org/releases.html

SVN: http://svn.apache.org/repos/asf/hadoop/common/branches

CDH(Cloudera Distributed Hadoop)

推荐使用最新的CDH5版本，比如: 5.0.0

下载地址: http://archive.cloudera.com/cdh5/cdh

（1）2008年成立的Cloudera是最早将Hadoop商用的公司，为合作伙伴提供Hadoop的商用解决方案，主要是包括支持、咨询服务、培训。

（2）2009年Hadoop的创始人Doug Cutting也加盟Cloudera公司。Cloudera产品主要为CDH，Cloudera Manager，Cloudera Support

（3）CDH是Cloudera的Hadoop发行版，完全开源，比Apache Hadoop在兼容性，安全性，稳定性上有所增强。

（4）Cloudera Manager是集群的软件分发及管理监控平台，可以在几个小时内部署好一个Hadoop集群，并对集群的节点及服务进行实时监控。Cloudera Support即是对Hadoop的技术支持。

（5）Cloudera的标价为每年每个节点4000美元。Cloudera开发并贡献了可实时处理大数据的Impala项目。

HDP(Hortonworks Data Platform)

推荐使用最新的HDP2.x版本，比如：HDP2.1

下载地址: http://zh.hortonworks.com/hdp/downloads

（1）2011年成立的Hortonworks是雅虎与硅谷风投公司Benchmark Capital合资组建。

（2）公司成立之初就吸纳了大约25名至30名专门研究Hadoop的雅虎工程师，上述工程师均在2005年开始协助雅虎开发Hadoop，贡献了Hadoop80%的代码。

（3）雅虎工程副总裁、雅虎Hadoop开发团队负责人Eric Baldeschwieler出任Hortonworks的首席执行官。

（4）Hortonworks的主打产品是Hortonworks Data Platform（HDP），也同样是100%开源的产品，HDP除常见的项目外还包括了Ambari，一款开源的安装和管理系统。

（5）HCatalog，一个元数据管理系统，HCatalog现已集成到Facebook开源的Hive中。Hortonworks的Stinger开创性的极大的优化了Hive项目。Hortonworks为入门提供了一个非常好的，易于使用的沙盒。

（6）Hortonworks开发了很多增强特性并提交至核心主干，这使得Apache Hadoop能够在包括Window Server和Windows Azure在内的microsoft Windows平台上本地运行。定价以集群为基础，每10个节点每年为12500美元。

其它厂商(国内)

Fusion Insight - HUAWEI

华为FusionInsight 是基于开源社区软件Hadoop 进行功能增强，提供企业级大数据存储、 查询和分析的统一平台，帮助企业快速构建海量数据信息处理系统。

通过对各类海量数据信息进行实时和非实时的分析和挖掘，帮助企业从海量数据信息中获取到真正的价值，及时洞察和决策新的机会与风险。

FusionInsight HD 2.6 大数据平台的逻辑架构图如下，包含：

• FusionInsight - CSDN(推荐阅读)

TDH/Transwarp Data Hub - 星环

X 推荐文献

• 书籍
  • 2013 《大数据时代》 维克托·迈尔-舍恩伯格/肯尼斯·库克耶(著) 周涛等译 非技术语言描述
    • 2位作者系“大数据”概念的最早提出者(2008年 提出)
  • 2014 《数据之巅》 阿里巴巴副总裁涂子沛
  • 2016 《为数据而生》电子科技大学计算机学院周涛教授（第1本书的译者）
  • 2017 《Hadoop大数据开发 - 案例教程与项目实战》 人民邮电出版社
• 博文
  • 被仰望和遗忘过的Cloudera，能否王者归来？ - 搜狐新闻
  • 企业科技50大强人排行榜：钱伯斯居首 - 腾讯数码
    • No.3 Linus Torvalds (Linux之父)
    • No.13 Ellison（Oracle 联合创始人 + CEO）
    • No.23 Doug Cutting（Hadoop之父）