hadoop快照管理
快照相当于对目录做备份,并不会复制所有文件,而是记录文件的变化
命令用法
()hdfs dfsadmin -allowSnapshot 路径 (开启指定目录的快照功能)
()hdfs dfsadmin -disallowSnapshot 路径 (禁用制定目录的快照功能,默认是禁用)
()hdfs dfs -createSnapshot 路径 (对目录创建快照)
()hdfs dfs -createSnapshot 路径 名称 (指定名称创建快照)
()hdfs dfs -renameSnapshot 路径 旧名称 新名称 (重名名快照)
()hdfs lsSnapshottableDir (列出当前用户所有可用快照目录)
()hdfs snapshotDiff 路径1 路径2 (比较两个快照目录的不同之处)
()hdfs dfs -deleteSnapshot 快照路径 (删除快照)
案例实操
(1)开启/禁用制定目录的快照功能
[linyouyi@hadoop01 bin]$ hdfs dfsadmin -allowSnapshot /user
[linyouyi@hadoop01 bin]$ hdfs dfsadmin -disallowSnapshot /user
(2)对目录创建快照
[linyouyi@hadoop01 bin]$ hdfs dfs -createSnapshot /user
[linyouyi@hadoop01 bin]$ hdfs dfs -lsr /user/.snapshot/
通过web访问hdfs://hadoop01:50070/user/atguigu/input/.snapshot/s…..// 快照和源文
(3)指定名称创建快照
[linyouyi@hadoop01 bin]$ hdfs dfs -createSnapshot /user user01
(4)重名名快照
[linyouyi@hadoop01 bin]$ hdfs dfs -createSnapshot /user user01 user0001
(5)列出当前用户所有快照
[linyouyi@hadoop01 bin]$ hdfs lsSnapshottableDir
(6)比较两个快照目录的不同之处
[linyouyi@hadoop01 bin]$ hdfs snapshotDiff /user01 /user001
(7)恢复快照
[linyouyi@hadoop01 bin]$ hdfs dfs -cp /user/.snapshot/ /user
hadoop快照管理的更多相关文章
- Hadoop基础-Hadoop快照管理
Hadoop基础-Hadoop快照管理 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.快照的作用 快照可以迅速对文件(夹)进行备份,不产生新文件,使用差值存储,默认是禁用状态. ...
- Apache Hadoop 2.9.2 的快照管理
Apache Hadoop 2.9.2 的快照管理 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 快照相当于对目录做一个备份.并不会立即复制所有文件,而是指向同一个文件.当写入发生 ...
- linux中kvm的安装及快照管理
一.kvm的安装及状态查看 1.安装软件 yum -y install kvm virt-manager libvirt2.启动libvirtd 报错,升级device-mapper-libs yum ...
- hadoop队列管理(指定queue跑程序)
hadoop 升级到cdh5后,队列管理被取消,而是统一用资源池分配. hadoop2.0版本,Hadoop采用了平级队列组织方式,,管理员可将用户分到若干个扁平队列中,在每个队列中,可指定一个或几个 ...
- Hadoop权限管理
1.Hadoop权限管理包括以下几个模块: (1) 用户分组管理.用于按组为单位组织管理,某个用户只能向固定分组中提交作业,只能使用固定分组中配置的资源:同时可以限制每个用户提交的作业数,使用的资源量 ...
- 007.KVM虚机时间-快照管理
一 快照管理 1.1 创建快照 [root@kvm-host ~]# virsh snapshot-create vm03-centos6.8 [root@kvm-host ~]# virsh sna ...
- KVM-克隆和快照管理
kvm 虚拟机有两部分组成:img镜像文件和xml配置文件 /etc/libvirt/qemu #xml配置文件目录,存在虚拟机所有的详细信息 1.kvm虚拟机克隆 克隆命令 virt-clone - ...
- Microsoft iSCSI Software Target 快照管理
Microsoft iSCSI Software Target 支持快照管理,可以对设备进行手工创建快照.快照任务计划.快照回滚等操作. 首先配置iscsi 目标及设备映射关系,并在客户端通过发起程序 ...
- Hadoop 权限管理(转)
如下图,hadoop访问控制分为两级,其中ServiceLevel Authorization为系统级,用于控制是否可以访问指定的服务,例如用户/组是否可以向集群提交Job,它是最基础的访问控制,优先 ...
随机推荐
- Use on Git
Preface The document is about to introduce some specialties on PLM development and mainte ...
- 2019-9-2-win10-uwp-布局
title author date CreateTime categories win10 uwp 布局 lindexi 2019-09-02 12:57:38 +0800 2018-2-13 17: ...
- 如何运行linux shell程序
原文地址:http://www.sohu.com/a/138822796_610671 首先,我们从一个十分简单的例子test.sh开始吧: #!/bin/sh #this is a test. cd ...
- ThreadLocal知识点
ThreadLocal是什么 ThreadLocal 表面上看他是和多线程,线程同步有关的一个工具类,但其实他与线程同步机制无关.线程同步机制是多个线程共享同一个变量,而ThreadLocal是为每个 ...
- 【Problem】xampp in ubuntu下命令行启动mysql报错: ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/opt/lampp/var/mysql/mysql.sock' (2)
xampp in ubuntu下命令行启动mysql报错: reddevil@reddevil-Lenovo:/opt/lampp$ ./bin/mysql -u root -p Enter pass ...
- JavaScript ---- 闭包(什么是闭包,为什么使用闭包,闭包的作用)
经常被问到什么是闭包? 说实话闭包这个概念很难解释.JavaScript权威指南里有这么一段话:“JavaScript函数是将要执行的代码以及执行这些代码作用域构成的一个综合体.在计算机学术语里,这种 ...
- sublime的安装与使用
1.sublime简介 Sublime是一个代码编辑器,可以编写HTML,php,js,css等文件. Sublime是由程序员Jon Skinner于2008年1月份所开发出来,它最初被设计为一个具 ...
- 「题解」:x
问题 A: x 时间限制: 1 Sec 内存限制: 256 MB 题面 题面谢绝公开. 题解 赛时想到了正解并且对拍了很久.对拍没挂,但是评测姬表示我w0了……一脸懵逼. 不难证明,如果对于两个数字 ...
- 56 Marvin: 一个支持GPU加速、且不依赖其他库(除cuda和cudnn)的轻量化多维深度学习(deep learning)框架介绍
0 引言 Marvin是普林斯顿视觉实验室(PrincetonVision)于2015年提出的轻量化GPU加速的多维深度学习网络框架.该框架采用纯c/c++编写,除了cuda和cudnn以外,不依赖其 ...
- hive的数据压缩
hive的数据压缩 在实际工作当中,hive当中处理的数据,一般都需要经过压缩,前期我们在学习hadoop的时候,已经配置过hadoop的压缩,我们这里的hive也是一样的可以使用压缩来节省我们的MR ...