暑假学习五 8.28日 hdfs

1. 文件系统
   1. 文件系统：存储和组织数据的方式，实现了数据的存储，分级组织，访问和获取，使用树状结构
   2. 数据：数据本身。文件系统元数据：文件大小，最后修改时间....描述性的数据
2. 分布式文件系统
   1. 核心属性：
      1. 分布式存储，无限扩展
      2. 元数据记录，方便寻找
      3. 分块存储，针对并行操作提供效率
      4. 副本机制，冗余存储，保障数据安全
3. hdfs的介绍：
   1. 分布式文件系统，大数据的最底层
   2. hdfs使用多台计算机存储，但是使用统一的接口
   3. 设计目标：大数据的运行
   4. 对文件的要求：write-one-read-many，文件写入后不支持修改 hdfs系统，不编辑，但是可以分析
   5. 移动计算比移动数据简单
   6. 更容易多平台之间进行移植
4. hdfs的重要特性：
   1. 主从架构
      1. master/slave
      2. namdenode 主节点 datanode从节点
   2. 分块存储，128M一块，不足128本身就是一块
   3. 副本机制，本身1，备份2
   4. 元数据管理
      1. 元数据，解释性数据，文件自身属性信息，文件块位置映射信息
      2. 主角色管理
   5. namespace
      1. 传统的层次文件组织‘
      2. 统一的抽象目录树
      3. 主角色管理
   6. 数据块存储
      1. 由从角色负责
      2. 每个block可以在多个datanode上存储