HDFS--笔记

HDFS的简介

分布式的文件系统，基于流数据模式访问和处理超大文件的分布式文件系统





Hadoop Distributed File System









HDFS的优点

处理超大文件

流数据访问

运行廉价的商用服务器上





HDFS的缺点

无法高效存储大量的小文件（元数据信息增大会造成NameNode的压力增大）

不适合处理低延迟的数据访问

不支持多用户对同一个文件的写入

不支持任意的修改





HDFS的特点

高容错性，三个副本，

可扩展和配置性（可以任意增加节点）

夸平台

机架感知

负载均衡

shell命令接口

安全模式（不允许写，监测数据块，不允许执行JOB）





HDFS的核心设计

数据块（Block）：数据以块固定大小的方式进行存储，128M

数据复制：以块来进行复制，可以配置复制因子 默认是3个

数据副本的存放策略：

分布存储在不同的节点上

每个数据块保存默认是3个副本

同一个数据的三个副本的存放

第一个副本存在离客户端近的机架上的某一台节点上

第二个副本存在相邻或者另外一个机架上的某一台节点上

机架感知

心跳机制：从节点通过NodeManager 向主节点ResourceManager每隔3秒钟发送心跳数据（从节点的cup 内存 磁盘等等资源使用情况）

ResourceManager在心跳的返回值中分配任务和指令给从节点的NodeManager









HDFS的体系结构

主从架构

Master/Slave

NameNode(元数据管理和存放)

SecondaryNameNode（辅助NameNode将edit和fsimage文件进行合并，生成新的fsimage，然后将文件返回给NameNode）

DataNode 从节点，用来存放数据的



Write：向HDFS写入文件

客户端-------》ResourceManager

NameNode  DataNode

Client-----》NameNode （提供blockId的列表）

Client-----》DataNode



Read：向HDFS读取文件

Client-----》ResourceManager

NameNode  DataNode

Client-----》NameNode（文件的名字...）

Clinet-----》DataNode

HDFS的设计目标

监测故障和快速恢复

大规模数据集的处理

流式数据访问

简化一致性模型，一次写入，多次读取

移动计算要比移动数据的代价要低

在异构的平台上可以移植

通信协议是基于tcpip的ipc rpc协议