hadoop的两大核心之一:HDFS总结

什么是HDFS?

hadoop distributed file system(hadoop分布式文件系统)

是一种允许文件通过网络在多台主机上分享的文件系统,

可让多机器上的多用户分享文件和存储空间.

特点:

1.通透性.让实际上是通过网络来访问文件的动作,由程序与用户看来,

就像是访问本地的磁盘一般.

2.容错性.即使系统中有某些节点脱机,整体来说系统仍然可以持续运作

而不会有数据损失.

适用场景:

适用于一次写入多次查询的情况,不支持并发写情况,小文件不合适.

HDFS的架构

主从结构

主节点,只有一个: namenode

从节点,有很多个: datanodes

namenode负责：

接收用户操作请求

维护文件系统的目录结构

管理文件与block之间关系,block与datanode之间关系

datanode负责：

存储文件

文件被分成block存储在磁盘上

为保证数据安全,文件会有多个副本

NameNode(可以理解为老大)

是整个文件系统的管理节点.它维护着整个文件系统的文件目录树,

文件/目录的元信息和每个文件对应的数据块列表.接收用户的操作请求.

文件包括(这三个都保存在linux的文件系统中):

fsimage:元数据镜像文件,存储某一时段NameNode内存元数据信息.

edits:操作日志文件.

fstime:保存最近一次checkpoint的时间

工作特点:

1.Namenode始终在内存中保存metedata,用于处理"读请求".

2.到有"写请求"到来时,namenode会首先写editlog到磁盘,

即向edits文件中写日志,成功返回后,才会修改内存,并且向客户端返回.

3.Hadoop会维护一个fsimage文件,也就是namenode中metedata的镜像,

但是fsimage不会随时与namenode内存中的metedata保持一致,

而是每隔一段时间通过合并edits文件来更新内容.Secondary namenode

就是用来合并fsimage和edits文件来更新NameNode的metedata的.

DataNode(可以理解为小弟)

提供真实文件数据的存储服务.

最基本的存储单位:block(文件块),默认大小为64M

Secondary NameNode(可以理解为老大的助理)

HA(High Available)的一个解决方案.但不支持热备.配置即可

默认在安装在NameNode节点上,但这样...不安全！

(生产环境中,建议分开安装)

执行过程:

从NameNode上下载元数据信息（fsimage,edits）,然后把二者合并,生成

新的fsimage,在本地保存,并将其推送到NameNode,替换旧的fsimage.

工作流程:

1.secondarynamenode通知namenode切换edits文件

2.secondarynamenode从namenode获得fsimage和edits(通过http)

3.secondarynamenode将fsimage载入内存,然后开始合并edits

4.secondarynamenode将新的fsimage发回给namenode

5.namenodenamenode用新的fsimage替换旧的fsimage

hadoop的整个体系结构就是构建在RPC之上的

RPC(Remote Procedure Call),(RPC采用客户机/服务器模式)

远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,

而不需要了解底层网络技术的协议.

具体实现过程:

首先,客户机调用进程发送一个有进程参数的调用信息到服务进程,

然后等待应答信息.在服务器端,进程保持睡眠状态直到调用信息的到达为止.

当一个调用信息到达,服务器获得进程参数,计算结果,发送答复信息,

然后等待下一个调用信息,

最后,客户端调用进程接收答复信息,获得进程结果,然后调用执行继续进行.

服务端提供的对象必须是一个接口,接口extends VersioinedProtocal

客户端能够的对象中的方法必须位于对象的接口中.

http://m.oschina.net/blog/212102