Hadoop createSnapshot和deleteSnapshot命令

概述

HDFS快照是文件系统的只读时间点副本。 可以对文件系统的子树或整个文件系统进行快照。 快照的一些常见用例是数据备份，防止用户错误和灾难恢复。
HDFS快照的实现是高效的：

快照创建是即时的：成本是O（1），不包括inode查找时间。
仅当对快照进行修改时才使用附加内存：内存使用为O（M），其中M是修改的文件/目录的数量。
不复制datanode中的块：快照文件记录块列表和文件大小。 没有数据复制。
快照不会对常规HDFS操作产生负面影响：修改会按相反的时间顺序记录，以便可以直接访问当前数据。 通过从当前数据中减去修改来计算快照数据。

Snapshottable目录

一旦目录设置为可快照，就可以对任何目录进行快照。 snaphottable目录能够容纳65,536个同步快照。可快照目录的数量没有限制。 管理员可以将任何目录设置为可快照。如果快照目录中有快照，则在删除所有快照之前，不能删除或重命名目录。
当前不允许嵌套snaphottable目录。 换句话说，如果一个目录的祖先/后代是一个snaphottable目录，则不能将其设置为snaphottable。
快照路径

对于快照目录，路径组件“.snapshot”用于访问其快照。 假设/ foo是snaphottable目录，/ foo / bar是/ foo中的文件/目录，而/ foo有一个快照s0。 然后，路径

/foo/.snapshot/s0/bar

指的是/ foo / bar的快照副本。 通常的API和CLI可以使用“.snapshot”路径。 以下是一些示例。
列出snaphottable目录下的所有快照：

hdfs dfs -ls /foo/.snapshot

列出快照s0中的文件：

hdfs dfs -ls /foo/.snapshot/s0

从快照s0复制文件：

hdfs dfs -cp -ptopax /foo/.snapshot/s0/bar /tmp

请注意，此示例使用保留选项来保留时间戳，所有权，权限，ACL和XAttrs。
使用快照升级到HDFS版本

HDFS快照功能引入了用于与快照交互的新保留路径名：.snapshot。 从旧版本的HDFS升级时，名为.snapshot的现有路径需要首先重命名或删除，以避免与保留路径冲突。 有关详细信息，请参阅HDFS用户指南中的升级部分。
快照操作

管理员操作

注意：本节中描述的操作需要超级用户权限。
允许快照

允许创建目录的快照。 如果操作成功完成，则目录变为可快照。
命令

hdfs dfsadmin -allowSnapshot <path>

参数

path：snaphottable目录的路径。

另请参阅HdfsAdmin中的相应Java API void allowSnapshot（路径路径）。
不可快照

不允许创建目录的快照。 在禁用快照之前，必须删除目录的所有快照。
命令

hdfs dfsadmin -disallowSnapshot <path>

参数

path：snaphottable目录的路径。

另请参阅HdfsAdmin中的相应Java API void disallowSnapshot（路径路径）。

用户操作
注意： HDFS超级用户可以执行所有操作而不满足各个操作中的权限要求。
创建快照

创建快照目录的快照。 此操作需要snaphottable目录的所有者特权。
命令

hdfs dfs -createSnapshot <path> [<snapshotName>]

参数

path：snaphottable目录的路径。
snapshotName：快照名称，它是一个可选参数。 当省略时，使用格式为“’s’yyyyMMdd-HHmmss.SSS”的时间戳生成默认名称，例如。 “s20130412-151029.033”。

另请参见文件系统中相应的Java API路径createSnapshot（路径路径）和路径createSnapshot（路径路径，字符串snapshotName）。 在这些方法中返回快照路径。
删除快照

从快照目录中删除快照。 此操作需要snaphottable目录的所有者特权。
命令

hdfs dfs -deleteSnapshot <path> <snapshotName>

参数

path：snaphottable目录的路径。
snapshotName：快照名。

另请参见文件系统中相应的Java API void deleteSnapshot（Path path，String snapshotName）。
重命名快照

重命名快照。 此操作需要snaphottable目录的所有者特权。
命令

hdfs dfs -renameSnapshot <path> <oldName> <newName>

参数

path：snaphottable目录的路径。
oldName：原快照名称。
newName：新快照名称。

另请参见FileSystem中对应的Java API void renameSnapshot（Path path，String oldName，String newName）。
获取Snapshottable目录列表

获取当前用户有权拍摄快照的所有快照表目录。
命令

hdfs lsSnapshottableDir

另请参见DistributedFileSystem中的相应Java API SnapshottableDirectoryStatus [] getSnapshottableDirectoryListing（）。
获取快照差异报告
获取两个快照之间的差异。 此操作需要两个快照中的所有文件/目录的读访问权限。
命令

hdfs snapshotDiff <path> <fromSnapshot> <toSnapshot>

参数

path：snaphottable目录的路径。
fromSnapshot：原快照。
toSnapshot：要对比的快照。

结果

+ 文件或者目录被创建。
– 文件或者目录被删除。
M 文件或者目录已修改。
R 文件/目录已重命名。

RENAME条目表示文件/目录已重命名，但仍位于相同的snaphottable目录下。 如果将文件/目录重命名为snapshottble目录之外，则将其报告为已删除。 从snapshottble目录之外重命名的文件/目录将报告为新创建。
快照差异报告不保证相同的操作顺序。 例如，如果我们将目录“/ foo”重命名为“/ foo2”，然后将新数据附加到文件“/ foo2 / bar”，差异报告将是：

R. /foo -> /foo2
M. /foo/bar

即，使用重命名之前的原始路径（上例中的“/ foo / bar”）报告重命名的目录下的文件/目录的更改。
另请参见DistributedFileSystem中的相应Java API SnapshotDiffReport getSnapshotDiffReport（Path path，String fromSnapshot，String toSnapshot）。

转载：https://www.vastyun.com/note_hadoop/300.html