Linux实验:hdfs shell基本命令操作(二)
【实验目的】
1)熟练hdfs shell命令操作
2)理解hdfs shell和linux shell命令
【实验原理】
安装好hadoop环境之后,可以执行hdfs shell命令对hdfs 的空间进行操作。我们通过命令行和HDFS打交道,进一步增加对HDFS的认识,HDFS命令行接口是一种最直接,也比较简单的一种方式。
调用文件系统(FS)Shell命令应使用bin/hadoop fs 的形式。也可以使用其他形式:
hadoop dfs {args}
hdfs dfs {args}
所有的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。HDFS的scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme。
【实验环境】
本次环境是:centos6.5 + jdk1.7.0_79 + hadoop2.4.1
工具包在/simple/soft目录下
【实验步骤】
一、hdfs shell命令
1.1 在任意目录下(需要配置hadoop环境变量),执行命令:start-dfs.sh启动hdfs服务。如图1所示
图1
1.2 启动hdfs之后,通过jps查看hdfs服务是否启动,执行命令:jps 。如图2所示
图2
1.3 在任意目录下执行如下命令(配置hadoop环境变量):hdfs dfs -help,查看到所有hdfs shell命令解释。如图3所示
图3
1.4 appendToFile的使用:假如hdfs上已经存在一个文件words.txt,具有一些信息,假如不存在words.txt,先在本地通过touch /simple/words.txt在simple下创建words.txt文件,并通过cd /simple 命令进入simple目录下执行vim words.txt命令进行编译,编译完成通过esc退出编辑状态,再:wq保存退出。然后通过hdfs dfs -put /simple/words.txt /上传到hdfs根目录并通过cat命令进行查看,如图4:
图4
在本地simple文件夹中建立words.txt,把指定的本地文件中(/simple/words.txt)的内容追加到到hdfs系统的words.txt文件。执行命令:`hdfs dfs -appendToFile /simple/words.txt /words.txt `。从下面的命令可以看出,hdfs中的文件words.txt中的内容多一部分。如图5所示
图5
1.5 rmr循环删除hdfs系统中的目录。执行命令:hdfs dfs -rmr /words.txt 可以把hdfs根目录下的words.txt文件删除。如图6所示
图6
1.6 touchz的使用:在hdfs系统指定的目录下创建一个文件。执行命令:hdfs dfs -touchz /newword.txt。如图7所示
图7
1.7 mkdir的使用:在hdfs系统的指定位置创建一个目录,执行命令:hdfs dfs -mkdir -p /aa/bb。如图8所示
图8
1.8 moveFromLocal的使用:把指定的本地的文件移到hdfs系统指定的位置,执行命令:hdfs dfs -moveFromLocal /simple/words.txt /aa 。如图9所示
图9
1.9 chgrp的使用:修改hdfs系统中指定文件或文件夹的用户所属组 ,执行命令:hdfs dfs -chgrp -R root /。如图10所示
图10
1.10 chmod的使用:改变指定目录文件的权限,如果指定R表示递归进行改变所有文件目录和文件的权限.用户必须是文件所有者或超级用户,执行命令:hdfs dfs -chmod -R 777 /。如图11所示
图11
1.11 chown的使用:改变文件的所有者,用户必须是超级用户,执行命令:hdfs dfs -chown -R root:supergroup /。如图12所示
图12
Linux实验:hdfs shell基本命令操作(二)的更多相关文章
- Linux实验:hdfs shell基本命令操作(一)
[实验目的] 1)熟练hdfs shell命令操作 2)理解hdfs shell和linux shell命令 [实验原理] 安装好hadoop环境之后,可以执行hdfs shell命令对hdfs 的空 ...
- Spark环境搭建(二)-----------HDFS shell 常用操作
配置好HDFS,也学习了点HDFS的简单操作,跟Linux命令相似 1) 配置Hadoop的环境变量,类似Java的配置 在 ~/.bash_profile 中加入 export HADOOP_HO ...
- 云计算与大数据实验:Hbase shell基本命令操作
[实验目的] 1)了解hbase服务 2)学会启动和停止服务 3)学会进入hbase shell环境 [实验原理] HBase是一个分布式的.面向列的开源数据库,它利用Hadoop HDFS作为其文件 ...
- HDFS Shell命令操作与java代码操作
(一)编程实现以下功能,并利用 Hadoop 提供的 Shell 命令完成相同任务: (1) 向 HDFS 中上传任意文本文件,如果指定的文件在 HDFS 中已经存在,则由用户来指定是追加到原 ...
- Linux下的shell编程(二)BY 四喜三顺
Ctrl + Alt + T 打开终端, $代表普通用户,#代表超级用户(root user)如: xiangqi@xiangqi ~$ root@xiangqi ~# ec ...
- H3CNE实验:Comware基本命令操作
第1步:Comware命令视图及切换操作 <H3C>system-view System View: return to User View with Ctrl+Z. [H3C]quit ...
- Linux/Unix下Shell快捷键操作集合
本人收集整理了一些Bash或其他Shell中常用的快捷键,使用技巧以及Ubuntu中一些常用操作的快捷键,希望大家能从中受益,提高工作效率. 使用”!”从历史中执行命令 有时候,我们需要在 Bash ...
- 记录linux系统用户shell终端操作记录
在 /etc/profile 最后添加 export HISTTIMEFORMAT='[%F %T]: ' export PROMPT_COMMAND='{ msg=$(history 1 | { r ...
- linux云计算集群架构学习笔记:rhel7基本命令操作
1-3-RHEL7基本命令操作 1.1Linux终端介绍 Shell提示符 Bash Shell基本语法. 1.2基本命令的使用:ls.pwd.cd. 1.3查看系统和BIOS硬件时间. 1.4 L ...
随机推荐
- Unity2018安装
1. 直接安装 2. 先安装Unity 2018.2.14f1 若有C:\ProgramData\Unity文件夹,删除这个文件夹下的所有文件 3. 解压 unity2018破解.zip 将最后一个 ...
- php-resque 队列简单使用
一.安装 php-resque 进入项目根目录,composer 安装 php-resque composer require chrisboulton/php-resque 二.常用方法 1.连接 ...
- PowerShell学习笔记
1,ps7官方文档 2,使用脚本生成帮助文档 function Add-Node { param ( $selectedNode, $name, $tag ) $newNode = new-objec ...
- SonarQube - 常用配置与操作
1 - SonarQube服务器中的数据库配置 2019年4月10号,SonarQube发文称在7.9之后,所有的SonarQube的版本(CE.DE.EE和DCE)中将停止对MySQL的支持. 建议 ...
- Blazor 机制初探以及什么是前后端分离,还不赶紧上车?
标签: Blazor .Net 上一篇文章发了一个 BlazAdmin 的尝鲜版,这一次主要聊聊 Blazor 是如何做到用 C# 来写前端的,传送门:https://www.cnblogs.com/ ...
- AngularJS 常见面试问题
ng-if 跟 ng-show/hide 的区别有哪些? 第一点区别是,ng-if 在后面表达式为 true 的时候才创建这个 dom 节点,ng-show 是初始时就创建了,用 display:bl ...
- Ng-Alain-mock 运用
Ng-Alain Ng-Alian 是基于 Antd 实现的一个前端框架.它基于 Angular 和 NG-ZORRO,在此基础上进行进一步封装,是中后台的前端解决方案,为我们提供更多通用性业务模块, ...
- 使用docker-compose快速搭建gitlab
1. 准备工作: centos7 [root@dev_vonedao_95 gitlab]# docker -v Docker version , build 633a0ea [root@dev_vo ...
- C语言环境搭建
UNIX/Linux 上的安装 如果您使用的是 Linux 或 UNIX,请在命令行使用下面的命令来检查您的系统上是否安装了 GCC: $ gcc -v 如果您的计算机上已经安装了 GNU 编译器,则 ...
- Python知识点总结篇(二)
列表 列表:一个值,包含多个字构成的序列,用[ ]括起来,[]是一个空列表,不包含任何值,类似于空字符串,负数下标表示从后边开始,-1表示列表最后一个下标,它是一种可变的数据类型,值可以添加.删除或改 ...