HDFS02
读取流程
写流程
============SecondaryNameNode============
Namenode的一个快照
周期性的备份namenode
记录namenode中的metadata及其它数据
可以用来恢复Namenode
============HDFS优点============
高容错性 --------->
√数据自动保存多个节点
√备份丢失后，自动恢复
适合批处理 --------->
√移动计算而非数据
√数据位置暴露给计算框架
合适大数据处理 --------->
√GB、TB、甚至PB级数据
√百万规模以上的文件数量
√ 10K+节点规模
流式文件访问 --------->
√一次性写入、多次读取
√保证数据的一致性
可构建在廉价的机器上 --------->
√通过多副本提高可靠性
√提供了容错和恢复机制
============HDFS缺点============
低延迟数据访问 --------->
√比如毫秒级
√低延迟与高吞吐率
小文件存取 --------->
√占用NameNode大量内存
√寻道时间超过读取时间
并发写入、文件随时修改 --------->
√一个文件只能有一个写者
√仅支持append
HDFS02的更多相关文章
- HDFS02 HDFS的Shell操作
HDFS的Shell操作(开发重点) 目录 HDFS的Shell操作(开发重点) 基本语法 常用命令 准备工作 上传 -moveFromLocal 剪切 -copyFromLocal 拷贝 -put ...
- HDFS基本操作的API
一.从hdfs下载文件到windows本地: package com.css.hdfs01; import java.io.IOException; import java.net.URI; impo ...
随机推荐
- Tcl之Read files for synthesis
The following file is to read all design files into syntehsis tool automatically, like Cadence RTL C ...
- python学习笔记(5)—— tuple 本质探究
>>> t=(1,2,3,['a','b','c'],4,5) >>> t[3][0]='x' >>> t (1, 2, 3, ['x', 'b' ...
- Codeforces_758_D_(区间dp)
D. Ability To Convert time limit per test 1 second memory limit per test 256 megabytes input standar ...
- DropDownList 递归绑定分子公司信息
/// <summary> /// 绑定下拉框 /// </summary> /// <param name="ddl">绑定控件名称</ ...
- CAD梦想看图6.0安卓版详情介绍
下载安装 MxCAD6.0(看图版).2018.10.22更新,扫描下面二维码,安装CAD梦想看图: 下载地址: http://www.mxdraw.com/help_8_20097.html 软 ...
- 16 this和super和构造代码块
this关键词---当前类的对象的引用 public class Public { String name; int age; public static void main(String[] arg ...
- python安装外部模块Django
Windows安装Django模块: 由于本人安装的Python版本是Python3.7,所以安装命令为:pip3 install django /pip3 install django安装过程中出现 ...
- contab的使用方法
linux 系统则是由 cron (crond) 这个系统服务来控制的.Linux 系统上面原本就有非常多的计划性工作,因此这个系统服务是默认启动的.另 外, 由于使用者自己也可以设置计划任务,所以, ...
- ionic3开发环境搭建与配置(win10系统)
1.安装nodeJS(不会的自行百度) 2.安装ionic和cordova,执行以下命令: npm install -g ionic cordova 3.安装Java JDK: 下载地址:http:/ ...
- 「 CODE[VS] P2853 」 方格游戏
题目大意 给定一张 $n\times n$ 的网格.每个格子上都有一个系数 $a$,先下 $A$ 和 $B$ 两人选择两条 $(1,1)\rightarrow (n,n)$ 路径.要求着两条路径不能相 ...