HBase、HDFS和MapReduce架构异同简解

HBase、HDFS和MapReduce架构异同

..	HBase（公司架构模型）	HDFS2.0（公司架构模型）	MR2.0（公司架构模型）	MR1.0（公司架构模型）
中央	HMaster	NameNode(NN)	ResourceManger(RM)	JobTracker(JT)
地方	HRegionServer(HRS)	DataNode(DN)	NodeManager(NM)	TaskTracker(TT)
监控协调者	ZooKeeper	ZooKeeper	ZooKeeper	无
是否有HA	HMaster-backups	NN（Standby）	RM（Standby）	无，存在单点故障
故障转移方式	1.HMaster与ZooKeeper直接通讯（谁先建立znode，则谁为active） 2.HRegionServer与ZooKeeper直接通讯	NM不与ZooKeeper直接通讯，ZKFC监控NM状态，ZKFC与ZK通讯，由ZKFC来参与选举（谁先建立znode，则谁为active）	RM直接与ZK直接通讯，谁先建立znode，则谁为active	无，存在单点故障
地方故障谁负责恢复和转移	HMaster	NameNode	ResourceManager	JobTracker
中央与地方的通讯	HRegionServer与ZK心跳，HMaster从ZK获取HRS状态	DN周期性向NN汇报	NM周期性向RM汇报	TT周期性向JT汇报
中央的共同职责	1. 负责地方任务的分配和故障转移 2. 监听地方的健康状态（HMaster从ZooKeeper获取HRegionServer的状态） 3. 地方资源的分配
中央各特点	分配HRegionServer上的Region	分配DN的block	分配NM上container上的任务	分配TaskTracker上的task
负载均衡	HRS上region的负载均衡	block的负载均衡
特点	1.Region的预分区、分裂和合并 2.Compaction机制 3.WAL机制 4.读写流程	1.副本策略 2.数据写入的副本管道传输机制 3.联邦制	1.资源调度和应用管理独立进程 2.NM上节点资源由NM管理，ApplicationManager和 AppliactionMaster管理任务 3.container概念	1.将资源划分为等量以slot为单位 2.maptask和reducetask独立分配