1. HDFS的设计目标
    1. 检测以及快速恢复硬件问题.
    2. 流式的数据访问.
    3. 移动计算比移动数据的代价小.
    4. 简化一致性模型.
    5. 超大规模数据集
    6. 异构软硬件平台之间的可移植性.
  2. HDFS的结构模型
    HDFS是一个主从的结构模型.一个HDFS集群是由一个NameNode和若干个DataNode组成.NameNode主节点是主服务器.管理文件系统的命名空间和和客户端对文件的访问操作.DataNode是集群中的一般节点.负责数据的存储.客户端通过NameNode
    向DataNode节点交换访问文件系统.联系NameNode获取文件元数.文件I/O操作直接和NameCode进行交互.从数据的内部看文件被分为若干个数据块.典型数据块的大小为 64MB. 假设如果客户端要访问一个文件。首先，客户端从NameNode中获得
    组成文件的数据块位置的列表,即知道数据块存储在哪些DateNode 中；然后客户端直接从DataNode上读取文件数据.NameNode不参与文件传输.NameNode 是HDFS的守护程序。主要负责大数据文件如何被分割成数据块。被分割后的数据块分别为存储在哪些DataNode的数据节点上.
    NameNode负责维护文件系统的命名空间.任何对文件系统的名称空间或属性的修改都将被NameNode记录下来.
  3. 数据的复制与存放
    HDFS是在大集群中跨机器可靠地存储超大文件.　他将每一个文件存储成一系列的数据块.
     (1)数据的复制
    1. 　　文件的所有的数据块都有副本，这样可以提高数据的容错性.应用程序可以指定某个文件的副本数量.HDFS中的文件都是一次性写入。并且在任何时候只有一个写入者.NameNode管理数据的复制，采用周期性的从集群中的每一个DataNode中接受心跳信号可块状报告。如果接受到心跳报告说明DataNde正常.
    2. 副本的存放是NDFS可靠性和性能的关键

　　　　　　

HDFS体系结构的更多相关文章

  1. [HDFS Manual] CH1 HDFS体系结构

    v\:* {behavior:url(#default#VML);} o\:* {behavior:url(#default#VML);} w\:* {behavior:url(#default#VM ...

  2. HDFS体系结构(NameNode、DataNode详解)

    hadoop项目地址:http://hadoop.apache.org/ NameNode.DataNode详解 (一)分布式文件系统概述 数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配 ...

  3. 第四次作业 描述HDFS体系结构、工作原理与流程

    1.用自己的图,描述HDFS体系结构.工作原理与流程. 读数据的流程 2.伪分布式安装Hadoop.

  4. HDFS体系结构:(Distributed File System)

    分布式系统的大概图 服务器越来越多,客户端对服务器的管理就会越来越复杂,客户端如果是我们用户,就要去记住大量的ip. 对用户而言访问透明的就是分布式文件系统. 分布式文件系统最大的特点:数据存储在多台 ...

  5. hadoop学习笔记（三）：hdfs体系结构和读写流程（转）

    原文:https://www.cnblogs.com/codeOfLife/p/5375120.html 目录 HDFS 是做什么的 HDFS 从何而来 为什么选择 HDFS 存储数据 HDFS 如何 ...

  6. 1）HDFS分布式文件系统 2）HDFS核心设计 3 ）HDFS体系结构

    一.HDFS简介 1.HDFS:Hadoop distributed file system 一个分布式文件系统 基于流数据模式访问和处理超大文件的需要而开发 适合应用在大规模数据集上 2. 优点 处 ...

  7. Hadoop读书笔记（四）HDFS体系结构

    Hadoop读书笔记(一)Hadoop介绍:http://blog.csdn.net/caicongyang/article/details/39898629 Hadoop读书笔记(二)HDFS的sh ...

  8. HDFS体系结构概述

  9. Hadoop安装 与 HDFS体系结构

随机推荐

  1. Tomcat原理 分类： 原理 2015-06-28 19:26 5人阅读 评论(0) 收藏

    Tomcat的模块结构设计的相当好,而且其Web 容器的性能相当出色.JBoss直接就使用了Tomcat的web容器,WebLogic的早期版本也是使用了Tomcat的代码. Web容器的工作过程在下 ...

  2. Android Dialogs(6)Dialog类使用示例：用系统theme和用自定义的theme

    使用dialog时有很多 方法,其中一个就是直接 使用基类Dialog,可用来作一个没有按钮的非模态提示框,它可以直接从系统的主题构造也可从自定义的主题构造. 基本步骤: a,构造 b,调用dialo ...

  3. BZOJ 2154 Crash的数字表格

    题目链接:http://61.187.179.132/JudgeOnline/problem.php?id=2154 题意: 思路: i64 mou[N]; void init(int N){    ...

  4. vpn局域网共享

    vpn局域网共享 更改网关为vpn共享主机地址 在“命令运行符”处,挨个键入下列命令,并回车生效: regsvr32 Softpub.dll regsvr32 Wintrust.dll regsvr3 ...

  5. HDU 2087 (KMP不可重叠的匹配) 花布条

    题意: 用两个字符串分别表示布条和图案,问能从该布条上剪出多少这样的图案. 分析: 毫无疑问这也是用KMP匹配,关键是一次匹配完成后,模式串应该向后滑动多少. 和上一题 HDU 1686 不同,两个图 ...

  6. <pages validateRequest="false"/>在.net4.0中无效的问题

    再web.config中设置<pages validateRequest="false"/>在.net4.0中无效的问题 解决方案: <system.web> ...

  7. MetadataType的使用，MVC的Model层数据验证

    MetadataType的使用,MVC的Model层数据验证 指定要与数据模型类关联的元数据类   using System.ComponentModel.DataAnnotations; //指定要 ...

  8. 如何使用jetty

    一直都听说jetty跟Tomcat一样,是一个web容器.之前做项目的时候,也使用过jetty,不过当时jetty是作为一个插件,跟maven集成使用的.那个时候,由于是第一次使用jetty,感觉je ...

  9. uvalive 4255 Guess（拓扑排序）

    算好题目,反正我没想到可以用图论做(虽然现在做的是图论专题= =) 首先是要把求每个位置上的值转化为求 “前缀和之差”,这是一个很有用的技巧 其次,由输入的(n+(n-1)+...+2+1)个符号,可 ...

  10. Scrum&Kanban在移动开发团队的实践 （一）

    现在大多数团队都在谈敏捷开发,似乎觉得敏捷是软件开发的银弹.只需要实践下一些敏捷开发的模式就能如何如何,其实我觉得不论是敏捷开发还是传统的瀑布流开发都是有他们的市场的,取决于团队人员构成,取决你的产品 ...