读取流程

写流程

============SecondaryNameNode============

Namenode的一个快照

周期性的备份namenode

记录namenode中的metadata及其它数据

可以用来恢复Namenode

============HDFS优点============

高容错性 --------->

√数据自动保存多个节点

√备份丢失后，自动恢复

适合批处理 --------->

√移动计算而非数据

√数据位置暴露给计算框架

合适大数据处理 --------->

√GB、TB、甚至PB级数据

√百万规模以上的文件数量

√ 10K+节点规模

流式文件访问 --------->

√一次性写入、多次读取

√保证数据的一致性

可构建在廉价的机器上 --------->

√通过多副本提高可靠性

√提供了容错和恢复机制

============HDFS缺点============

低延迟数据访问 --------->

√比如毫秒级

√低延迟与高吞吐率

小文件存取 --------->

√占用NameNode大量内存

√寻道时间超过读取时间

并发写入、文件随时修改 --------->

√一个文件只能有一个写者

√仅支持append

HDFS02的更多相关文章

  1. HDFS02 HDFS的Shell操作

    HDFS的Shell操作(开发重点) 目录 HDFS的Shell操作(开发重点) 基本语法 常用命令 准备工作 上传 -moveFromLocal 剪切 -copyFromLocal 拷贝 -put ...

  2. HDFS基本操作的API

    一.从hdfs下载文件到windows本地: package com.css.hdfs01; import java.io.IOException; import java.net.URI; impo ...

随机推荐

  1. java继承问题

    代码: 父类: public class Father { public Father() { System.out.println("基类构造函数{"); show(); new ...

  2. ERwin逻辑模型

    1.自动排序 Format>>Preferences>>Layout Entire Diagram CA ERwin

  3. Spring框架系列(二)--装配和注入Bean

    企业日常开发中,几乎都是Spring系的框架,无论是SSM.还是现在大火的SpringBoot+JPA/MyBatis,使用最大的目的就是简化开发 基本模块: 核心容器:Beans.Core.Cont ...

  4. Java实现打包文件

    把文件打包到压缩包里 public void zip (String... files) throws IOException { //创建文件打包流对象 ZipOutputStream zos = ...

  5. 实现加载页Loading Page 的几种方法

    网页也可以像原生应用那样加入进度条或者其他的loading效果带来更好的等待体验,这里归纳几种我收集的实现loading page的方法,这几种方法在交互上都有利有弊,适用于不同应用.(PS:以下方法 ...

  6. 10Java Server Pages 隐式对象

    Java Server Pages 隐式对象 JSP隐式对象是Web容器加载的一组类的实例,它不像一般的Java对象那样用“new”去获取实例,而是可以直接在JSP页面使用的对象.JSP提供的隐式对象 ...

  7. 【原】Mysql常用语句

    1.修改编码方式为UTF-8 ALTER   TABLE   表名  CHANGE  列名  新列名  VARCHAR(255)    CHARACTER  SET  utf8  COLLATE    ...

  8. PHP下载压缩包文件

    PHP 压缩文件需要用到 ZipArchive 类,Windows 环境需要打开 php_zip.dll扩展. 压缩文件 $zip = new ZipArchive(); // 打开一个zip文档,Z ...

  9. Linux的net.ipv4.tcp_timestamps参数

    Q1 今天发生了一个奇怪的现象,在家里始终打开公司的网站打开不了,我就齐了怪了,然后我就各种测试,从ping到dig域名,然后再curl,都是没有问题的,但是就是打不开,最好没有办法只能抓包了,从抓包 ...

  10. layer iframe层弹出图片

    这个js是在一个layer iframe弹出层中,点击按钮弹出图片