大数据学习（7）Hadoop高可用

HDFS高可用

通过主从切换实现单NameNode高可用。通过Federation：水平扩展来联合多NameNode个；

NameNode高可用

把edits日志从原来的nameNode中分离出来，存放到专门的日志服务（QJournal）集群中。
取消原来的SecondaryNameNode，而使用主从双机的方式。
Active的NameNode对外正常提供服务。产生的日志信息在写入到本机的edits中的同时，多线程并发写入到日志服务中。
Standby的的NameNode则负责从日志服务器中获取edits日志，更新本地的fsimage。
在Active NameNode中有一个程序叫ZKFC，在ActiveNameNode工作失效的时候，会去通知Standby NameNode。
ZKFC是可插拔的，就是可以换成其他自定义的实现。Federation中的每一对NameNode可以设置自己的ZKFC。
Standby NameNode在收到ZKFC的消息之后，会尝试去确认Active NameNode确实已经挂掉了。并采取措施（sshfence or shell）真的干掉ActiveNameNode。
这样做的原因是，如果Active NameNode假死，在Sandby NameNode上任工作之后Active NameNode复活的话，会导致HDFS精神分裂（脑裂，一会儿是这个状态，一会儿又是另外一个状态）。

Federation

通过多个namespace来区分不同的namenode，从而实现水平扩展。

YARN的高可用

由于ResourceManager没有元数据，就像Tomcat不存储数据库数据一样，所以ResourceManager挂掉了其实影响并不大，另外在找一个ResourceManager重新执行任务就行了，所以YARN的高可用没有HDFS那么迫切。它的高可用也实现的比较简单。

准备多个ResourceManager，然后通过Zookeeper来协调就行了。