Hadoop基本知识，（以及MR编程原理）

hadoop核心是：MapReduce和HDFS
（对应着job执行（程序）和文件存储系统（数据的输入和输出））

CRC32作数据交验：在文件Block写入的时候除了写入数据还会写入交验信息,在读取的时候需要交验后再读入。

安全模式：不能写或删文件。系统启动时检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。

Map之后还会有Shuffle(混合)的过程：对于提高Reduce的效率以及减小数据传输的压力有很大的帮助

mde调度，定期心跳监测

NameNode节点：管理HDFS文件系统的命名空间,维护着文

apreduce的原理

MapReduce就是“任务的分解与结果的汇总”，来自Google的一篇论文。MapReduce是使用简易的软件框架，把输入的数据集切分为若干独立的数据块，由map任务（task）并行处理。框架对map的输出排序后传给reduce任务。计算节点和存储节点通常在一起。

MapReduce框架由一个master的JobTracker和集群中每个节点slave的 TaskTracker组成，整个框架负责调度任务和监控，每个slave上执行任务，master监控所有任务的执行以及重启失败任务。

HDFS的三个实体:

数据块：默认为64MB(map的数据大小)。HDFS的文件划分为块大小。

DataNode节点：存储并检索数据块的工作节点，受NameNo件系统树及整棵树的所有的文件及目录。文件会以两个形式永久保存在本地磁盘上(命名空间镜像文件和编辑日志文件)。NameNode记录着文件的各个块所在的datanode信息。但并不永久保存这些块的位置信息,因为在系统启动时datanode会重建这些信息。

没有NameNode，文件系统将无法使用。NameNode损坏，则文件系统的所有文件丢失，因为不能根据DataNode的块来重建文件。所以NameNode的容错非常重要。

第一种机制：备份那些组成文件系统元数据持久状态的文件.通过配置使NameNode在多个文件系统上保存元数据的持久状态或将数据写入本地磁盘的同时,写入一个远程挂载的网络文件系统.当然这些操作都是原子操作.

第二种机制：运行一个辅助的NameNode（secondarynamenode）保存合并后的命名空间镜像的副本。但secondarynamenod保存状态会滞后一些，所以Name/Node发生故障时难免丢失数据。一般把存储在远程挂载的网络文件系统的数据复制到secondarynamenod并作为新NameNode运行

hadoop中Combiner的作用

、combiner实现本地key聚合：对map输出的key排序，value组成列表进行迭代。

、combiner还具有类似本地reduce功能，对key的value列表直接合并成统计值。如hadoop的wordcount例子和找出value的最大值的程序，combiner和reduce完全一致。

使用combiner，则map先本地聚合，提升效率。当value是数字列表时，则可以直接合并统计，而不必等到所有map结束再reduce合并统计。

combiner使用合适，可提升速度，如果不合适，则会导致出错。

Hadoop运行问题

运行的job分为map和reduce的任务task，由jobtracker监控，tasktracker在datanode上执行。详细介绍可以参考：

http://hi.baidu.com/fengvsjinglove/item/7e78060ff64f5c1a3b53ee7c

1.一个map可能在多个节点上运行：

如果map运行过慢，就会在别的节点上重开一个，两个谁先跑完就取谁的结果，然后杀掉另一个。

2.上百个节点左右的集群做hadoop版本升级：

升级一般都要一起升，因为是跨版本，如1.0升到2.0，则需要停集群。不同版本很多东西不兼容。如果是不跨版本，比如1.x中各版本之间升级则可以不用。

3.集群中分配给各节点的block块数越均衡性能越好：

一个DataNode上的Block是唯一的，多个DataNode可能有相同的Block。关于其通信机制参考http://blog.csdn.net/longshenlmj/article/details/16341315

4.每一个datanode会在每一个namenode里面去注册

datanode负责向namenode定时发送心跳。这样就解决了节点之间的单点故障，而jobtracker也根据它的资源管理和job生命周期管理，被拆分了，分别叫ResourceManager和ApplicationMaster。

ResourceManager 负责管理全局的资源和任务的分配。

ApplicationMaster负责管理任务的执行和协调。