HDFS Snapshots

HDFS Snapshots

1. 概述

1.1 Snapshottable目录

1.2 快照路径

2. 带快照的更新

3. 快照操作

3.1 管理操作

3.2 用户操作

1. 概述

HDFS快照是只读的,一个时间点文件系统的一个副本。快照可以是整个文件系统或者文件系统的子树。快照通常用来备份,保护用户错误和灾难恢复。

HDFS快照的实现:

·         快照创建是瞬间的,花费是O(1)不包过inode lookup时间。

·         如果和快照相关的,在修改的时候会使用额外的内存:内存使用时O(M),M是修改的文件和目录个数。

·         Datanode中的block不会被复制:快照只会记录block list和文件大小。不会进行数据复制。

·         快照不会影响HDFS操作:修改被反转再被顺序记录,这样当前的数据还是和以前一样访问。快照的数据通过当前的数据然后使用记录undo。

1.1 Snapshottable目录

快照可以在任何目录上,一旦目录被设置了snapshottable。Snapshottable允许65536个并发快照。Snapshottable目录个数没有限制。管理员可以对任何目录设置为snapshottable。如果快照在snapshottable目录,在快照删除前,目录不能被删除,也不能重命名。

snapshottable目录是不能嵌套的。也就是说如果父目录,或者子目录已经设置了snapshottable目录,那么就不能再设置。

1.2 快照路径

对于一个snapshottable目录,路径.snapshot用来访问快照。假设/foo是是snapshottable目录,/foo/bar是/foo中的文件,并且/foo有一个快照s0。/foo/.snapshot/s0/bar就是/foo/bar的快照副本。通常的API和CLI可以在.snapshot路径上使用。比如:

·         列出所有snapshottable目录下的所有快照:
hdfs dfs -ls /foo/.snapshot

·        
列出快照s0的所有文件:
hdfs dfs -ls /foo/.snapshot/s0

·        
从快照中复制文件:
hdfs dfs -cp -ptopax /foo/.snapshot/s0/bar /tmp

2. 带快照的更新

HDFS快照特性引入了一个新的保留地址用来和快照交互:.snapshot。当从老的HDFS版本不支持快照的,升级时如果有.snapshot那么需要先删除避免出现冲突。

3. 快照操作

3.1 管理操作

允许快照

允许对目录创建快照,如果完成并且成功那么目录就会变成snapshottable。

hdfs dfsadmin -allowSnapshot <path>

参数:snapshottable目录的地址。

禁止快照

禁止目录创建快照。所有快照在禁用前必须删除

hdfs dfsadmin -disallowSnapshot <path>

参数:snapshottable目录的地址。

3.2 用户操作

创建快照

在snapshottable目录上创建快照。需要snapshottable目录的owner权限

hdfs dfs -createSnapshot <path> [<snapshotName>]

snapshotname默认是s'yyyyMMdd-HHmmss.SSS
比如s20130412-151029.033

删除快照

从snapshottable目录删除快照。需要snapshottable 目录owner权限。

hdfs dfs -deleteSnapshot <path> <snapshotName>

重命名快照

快照重命名,需要snapshottable
目录owner权限。

hdfs dfs -renameSnapshot <path> <oldName>
<newName>

获取snapshottable目录列表

列出所有snapshottable目录

hdfs lsSnapshottableDir

获取快照不通的报告

获取2个快照的不同,需要2个快照目录的所有读权限。

命令:hdfs
snapshotDiff <path> <fromSnapshot> <toSnapshot>

结果:

+

The file/directory has been created.

-

The file/directory has been deleted.

M

The file/directory has been modified.

R

The file/directory has been renamed.

RENAME表示文件重命名但是还在snapshottable目录下。一个文件或者目录移动出了snapshottable目录,那么就被认为是删除了。一个文件或者目录移动到snapshottable目录,就被认为是创建。

Snapshot差异报告不会爆炸相同操作的顺序。比如如果目录从/foo重命名为/foo2然后在/foo2创建了一个文件bar,那么差异报告:

R. /foo -> /foo2

M. /foo/bar

在重命名后的目录上的操作,报告是之前路径的,比如上面的报告。

[HDFS Manual] CH8 HDFS Snapshots的更多相关文章

  1. [HDFS Manual] CH3 HDFS Commands Guide

    HDFS Commands Guide HDFS Commands Guide 3.1概述 3.2 用户命令 3.2.1 classpath 3.2.2 dfs 3.2.3 envvars 3.2.4 ...

  2. [HDFS Manual] CH6 HDFS Federation

    HDFS Federation HDFS Federation 1 Background 2.多个namenode/namespace 2.1 关键好处 3 联合配置 3.1 配置 3.2 格式化na ...

  3. [HDFS Manual] CH2 HDFS Users Guide

    2 HDFS Users Guide 2 HDFS Users Guide 2.1目的 2.2.概述 2.3.先决条件 2.4. Web Interface 2.5. Shell Command 2. ...

  4. [HDFS Manual] CH1 HDFS体系结构

    v\:* {behavior:url(#default#VML);} o\:* {behavior:url(#default#VML);} w\:* {behavior:url(#default#VM ...

  5. [HDFS Manual] CH4 HDFS High Availability Using the Quorum Journal Manager

    HDFS High Availability Using the Quorum Journal Manager HDFS High Availability Using the Quorum Jour ...

  6. 【hadoop】python通过hdfs模块读hdfs数据

    hdfs官网:http://hdfscli.readthedocs.io/en/latest/api.html 一个非常好的博客:http://blog.csdn.net/gamer_gyt/arti ...

  7. HDFS之四:HDFS原理解析(总体架构,读写操作流程)

    前言 HDFS 是一个能够面向大规模数据使用的,可进行扩展的文件存储与传递系统.是一种允许文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和 存储空间.让实际上是通过网络来访问文件 ...

  8. Hadoop之hadoop fs和hdfs dfs、hdfs fs三者区别

      适用范围 案例 备注 小记 hadoop fs 使用范围最广,对象:可任何对象       hadoop dfs 只HDFS文件系统相关       hdfs fs 只HDFS文件系统相关(包括与 ...

  9. [HDFS Manual] CH7 ViewFS Guide

    ViewFS Guide ViewFS Guide 1 介绍 2. The Old World(Prior to Federation) 2.1单个Namenode Clusters 2.2 路径使用 ...

随机推荐

  1. 222. Getter与Setter

    Description Implement a class School, including the following attributes and methods: A private attr ...

  2. 你真的了解META-INF吗?

    你真的了解META-INF吗? 做过JAVA EE开发的工程师应该都知道在JAVA build出来的JAR或者WAR的顶层目录下有个META-INF文件夹吧,可是有多少人能够清楚说出这个文件夹到底是做 ...

  3. CY7C68013 USB接口相机开发记录 - 第二天:驱动修改

    上次写了资料的下载,并对资料进行了分类,分完类看起来就比较清晰.同时通过强大的百度,也可以得到不少资料. 这里对比较关键的几个文件进行罗列: 一.驱动相关 cyusb.inf: 修改CYUSB.INF ...

  4. c c++ 函数不要返回局部变量的指针

    结论:普通的变量(非new的变量)都是系统自动分配的,在栈空间(连续分配),无需程序员操作,速度快,但是...空间有限,不适合大量数据,大量的话就需要自己new new出来的变量是处于大容量的堆空间, ...

  5. 深入理解JVM(7)——类加载器

    一.类和类加载器 a)        类加载器的作用:将class文件加载到JVM的方法区,并且在方法区中创建一个java.lang.Class对象作为外界访问这个类的接口. b)        类和 ...

  6. Node_初步了解(4)小爬虫

    var http=require('http'); var cheerio=require('cheerio'); var url='http://www.cnblogs.com/Lwd-linux/ ...

  7. C++加载动态库的顺序

      1. where to load dynamic so: (rpath isdetermined and recorded when compiling, it is also used to f ...

  8. 完善mui的tap及longtap点击效果

    以下为原版效果: 以下为我们改版的效果: 希望你们能看出差别,很细小,但更适合我们的需要.就是选中背景色的问题,官方的是点一下背景色就没有了,我们的是选中一直存在.

  9. C# 枚举类型 enum

    我个人感觉平日用到的enum应该是非常简单的,无非就是枚举和整数.字符串之间的转换.最近工作发现一些同事居然不太会用这个东东,于是就整理一下. 枚举类型是定义了一组“符号名称/值”配对.枚举类型是强类 ...

  10. vue项目启动时将localhost替换成指定ip地址

    1.node启动vue项目时地址一般都是http://localhost:8080 2.config->index.js 中的host:‘localhost’换成host:‘你的本机ip’就可以 ...