1 预备知识--Hadoop简介

1 预备知识--Hadoop简介

Hadoop是Apache的一个开源的分布式计算平台，以HDFS分布式文件系统和MapReduce分布式计算
框架为核心，为用户提供了一套底层透明的分布式基础设施
Hadoop框架中最核心设计就是：HDFS和MapReduce。 HDFS提供了海量数据的存储,MapReduce提供了对数据的计算。
Hadoop框架中最核心的设计就是： HDFS 和MapReduce
--HDFS是Hadoop分布式文件系统，具有高容错性、高伸缩性，允许用户基于廉价硬件部署，构建分布式存储系统，为分布式计算存储提供了底层支持
--MapReduce提供简单的API，允许用户在丌了解底层细节的情况下，开发分布式幵行程序，利用大规模集群资
源，解决传统单机无法解决的大数据处理问题
--设计思想起源于Google GFS、 MapReduce Paper
Hadoop的优势
弹性可扩展
--通过简单增加集群节点，线性扩展集群存储和计算资源
容错高健壮
--故障检测和自动回复，允许通用硬件失效而不影响整个集群可用性
成本低廉
--采用廉价通用硬件部署，无需高端设备
简单易用
--API简单，允许用户不了解底层情况下，写出高效的分布式计算程序

Hadoop核心项目
HDFS： Hadoop Distributed File System 分布式文件系统
MapReduce：幵行计算框架

文件切分
eg，block size = 64MB
文件由数据块集合组成
假设每块大小为 64MB
每个数据块在本地文件系统中是以单独的文件进行存储
eg, 复制因子 = 3
默认布局规则:
第一份拷贝写入创建文件的节点 (快速写入)
第二份拷贝写入同一个rack内的节点(减少跨rack的网络流量)
第三份拷贝写入位于不同rack的节点(应对交换机故障)

Hadoop1.0 架构解析之HDFS
HDFS分布式文件系统：
　　NameNode：
　　　　维护整个文件系统的文件目录树，文件目录的元信息和文件数据块索引
　　　　以FsImage和EditLog形式存储在本地
　　　　整个系统的单点，存在SPOF
　　SecondaryNameNode：
　　　　又名CheckPoint Node，定期合幵FsImage和EditLog
　　　　不接收客户端的请求，作为NameNode的冷备
　　DataNode：
　　　　实际存储数据的单元
　　　　以Block为单位
　　　　数据以普通文件形式保存在本地文件系统
　　Client：
　　　　与HDFS交互，进行读写、创建目录，创建文件、复制、删除等操作
　　　　HDFS提供了多种客户端：命令行Shell，Java API，Thrift接口，C library，WebHDFS等

HDFS容错机制
故障类型:
　　磁盘错误和故障
　　DataNode故障 ：数据块自动复制到剩余的节点以保证满足复制因子，namenode侦测datanode故障
　　交换机/机架故障
　　NameNode故障 ：备用namenode，冷备
　　数据中心故障

HDFS水平扩展与再平衡
添加datanode，namenode节点侦测到新的datanode加入集群内，数据块再均衡和在分发。

Hadoop1.0 架构解析之MapReduce
MapReduce分布式计算框架：
　　JobTracker：
　　　　负责集群资源监控和作业调度
　　　　通过心跳监控所有TaskTracker的健康状况
　　　　监控Job的运行情况、执行进度、资源使用，交由任务调度器负责资源分配
　　　　任务调度器可插拔：FIFO Scheduler、 Capacity Scheduler、 FIFO Scheduler
　　TaskTracker：
　　　　具体执行Task的单元
　　　　以slot为单位等量划分本节点的资源，分为Map Slot和Reduce Slot
　　　　通过心跳周期性向JobTracker汇报本节点的资源使用情况和任务运行进度
　　　　接收JobTracker的命令执行相应的操作（启动新任务、杀死任务等）
　　Client：
　　　　提交用户编写的程序到集群
　　　　查看Job运行状态

Hadoop2.0 架构
Hadoop2.0 架构解析之HDFS 2.0
HDFS 1.0的问题：
　　--NameNode SPOF，NameNode挂掉整个集群不可用
　　--内存受限，整个集群的size受限于NameNode的内存空间大小

HDFS 2.0：
　　--引入NameNode HA，Active/Standby NameNode，支持Auto-Failover
　　--引入HDFS Federation，支持多个NameNode，每个NameNode只负责一部分目录，多个NameNode协作达到水平扩展

NameNode HA
　　Active NameNode对外提供服务，Standby NameNode同步Active NameNode的元数据，以待切换
　　所有DataNode同时向两个NameNode汇报数据块信息
　　元数据信息存储在共享存储中，可选
　　　　--JournalNode(推荐)：奇数个，基于Paxos协议
　　　　--NFS
　　支持auto failover和manual failover：
　　--auto-failover：基于ZooKeeper，zkfc监测NameNode的健康状况，并向ZooKeeper注册。
　　当NameNode挂掉时，进行锁竞争，获得锁的NameNode转换为Active NameNode
　　--manual failover：手工切换，适用于NameNode升级

HDFS Federation
　　--使用多个独立的namespace，每个DataNode要向集群中所有的NameNode注册,
且周期性地向所有NameNode发送心跳和块报告，并执行来自所有NameNode的命令
　　--一个block pool由属于同一个namespace的数据块组成，每个datanode可能会存储集群中所有block pool的数据块
优点：水平扩展，隔离

Hadoop2.0 架构解析之YARN
Yet Another Resource Negotiator
核心思想：
　　--将mrv1中JobTracker的资源管理和任务调度两个功能分开，分别由ResourceManager和ApplicationMaster进程实现
　　--ResourceManager：负责整个集群的资源管理和调度
　　--ApplicationMaster：负责应用程序相关的事务，比如任务调度，任务监控和容错
　　--NodeManager：每个节点的资源和任务管理器，定期向RM汇报本节点的资源使用情况和Container运行情况，接收和处理AM的请求（如启动和杀死Container）
　　--Container：资源划分的最小单位，动态的，由应用程序指定
双层调度的思想，使得多种计算框架能够共享一个集群的资源
　　--MapReduce on Yarn，Spark on Yarn，Storm on Yarn，HBase on Yarn（Hoya）
　　--每个应用程序对应自己的ApplicationMaster

Hadoop2.0 架构解析之MAPREDUCE
　　--MapReduce原理和运行流程不MRv1一样，API保持向后兼容
　　--不同的是，在2.0，mapreduce作为Hadoop Yarn的其中一种application
　　--一些概念的变化
mrv1　　　　　　　　 mrv2
JobTracker 　　　　   MRAppMaster
TaskTracker 　　　　  NodeManager
Slot 　　　　　　　　 Container

Hadoop 1.0 vs 2.0

1.0	2.0
只支持MapReduce一个Batch Processing计算框架	支持MapReduce、 Tez、 Spark、 Storm等多种计算框架，融合Batch Processing、 Interative Computing、 Realtime Computing
集群管理受JobTracker限制， 很难扩展	引入了新的资源管理框架Yarn
集群资源利用率低， 配置固定的Map/Reduce Slot数，不可复用	Container化， 没有固定的Map/Reduce Slot， 可动态资源分配， 可复用
JobTracker、 TaskTracker	RM、 NM， mapreduce作为Yarn之上的一个app

Hadoop 2.0 架构

Hadoop 生态圈

Common
A set of components and interfaces for distributed filesystems and general I/O
(serialization, Java RPC, persistent data structures).
Avro
A serialization system for efficient, cross-language RPC and persistent data storage.
MapReduce
A distributed data processing model and execution environment that runs on large clusters of commodity machines.
HDFS
A distributed filesystem that runs on large clusters of commodity machines.
Pig
A data flow language and execution environment for exploring very large datasets.
Pig runs on HDFS and MapReduce clusters.
Hive
A distributed data warehouse. Hive manages data stored in HDFS and provides a
query language based on SQL (and which is translated by the runtime engine to
MapReduce jobs) for querying the data
HBase
A distributed, column-oriented database. HBase uses HDFS for its underlying
storage, and supports both batch-style computations using MapReduce and point
queries (random reads).
ZooKeeper
A distributed, highly available coordination service. ZooKeeper provides primitives
such as distributed locks that can be used for building distributed applications.
Sqoop
A tool for efficient bulk transfer of data between structured data stores (such as
relational databases) and HDFS.
Oozie
A service for running and scheduling workflows of Hadoop jobs (including MapReduce, Pig, Hive, and Sqoop jobs).