Hadoop shell 一查就会
Hadoop shell 命令有三种格式
- hdfs + dfs (必须是dfs)
- Hadoop + dfs
- Hadoop + df
| 命令 | 说明 |
|---|---|
| hadoop 版本查看 | hadoop version |
| hadoop 显示命令信息 | hadoop dfs |
| 列出 HDFS 目录 | Hadoop fs -ls / |
| 递归列出 / 下的所有目录（包括子目录） | Hadoop fs -lsr / |
| hdfs 查看文件内容 | hdfs dfs -cat /output/part-00000 |
| hdfs 查看文件内容，并进行分页显示 | hdfs dfs -cat /output/part-00000 | more |
| hdfs 查看文件内容 | hdfs dfs -text /output/part-00000 |
| Hdfs 查看指定文件大小 | hdfs dfs -du /output/part-00000 |
| 将 HDFS 上的文件复制到本地 | hdfs dfs -get /output/part-00000 /usr/local/load.txt |
| 将 HDFS 上的文件复制到本地（二） | hdfs dfs -copyToLocal /output/part-00000 /usr/local/load.txt |
| 在 HDFS 上创建文件目录 | hadoop fs -mkdir /data |
| 在 HDFS 上一次性创建多级目录 | hadoop fs -mkdir -p /data/child1/child2 |
| 复制本地文件或HDFS文件到HDFS 指定路径 | hadoop fs -put /usr/local/load.txt /data/ |
| 复制本地文件到HDFS 指定路径，更严格（二） | hadoop fs -copyFromLocal /usr/local/load.txt /data/ |
| 移除HDFS 指定目录文件 | hadoop fs -rm |
| 移除HDFS 指定目录文件和其子目录 | hadoop fs -rmr |
| 将文件尾部1K字节的内容输出 | hdfs dfs -tail /data/load.txt |
更详细的 shell 说明请点击查看，可以在集群浏览器中输入 http://yarn00:50070 浏览和操作HDFS的目录和文件。
路径浏览
对应 http://yarn00:50070 中的界面如下：
Hadoop shell 一查就会的更多相关文章
- Hadoop Shell命令大全
hadoop支持命令行操作HDFS文件系统,并且支持shell-like命令与HDFS文件系统交互,对于大多数程序猿/媛来说,shell-like命令行操作都是比较熟悉的,其实这也是Hadoop的极大 ...
- 【转】shell速查表
shell速查表 转自:https://www.jianshu.com/p/a98a334bfb25 1. 变量 #!/bin/bash msg="hello world" ech ...
- Hadoop Shell 操作
此随笔仅记录一下常用的Hadoop shell 操作的命令 参考官方文档 http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html FS S ...
- Hadoop Shell命令字典（可收藏）
可以带着下面问题来阅读: 1.chmod与chown的区别是什麽?2.cat将路径指定文件的内容输出到哪里?3.cp能否是不同之间复制?4.hdfs如何查看文件大小?5.hdfs如何合并文件?6.如何 ...
- hadoop shell 操作命令
shell操作命令: hdfs的路径,在core-site.xml中定义 <property> <name>fs.default.name</name> <v ...
- hadoop shell 详解
概述 所有的hadoop命令均由bin/hadoop脚本引发.不指定参数运行hadoop脚本会打印所有命令的描述. 用法: hadoop [--config confdir] [COMMAND] ...
- Hadoop Shell命令（基于linux操作系统上传下载文件到hdfs文件系统基本命令学习）
Apache-->hadoop的官网文档命令学习:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html FS Shell 调用文件系统( ...
- Hadoop shell命令
1.FS Shell 调用文件系统(FS)shell命令应使用bin/hadoop fs <args>的形式.所有的的FS shell命令使用URI路径作为参数.URI格式是scheme: ...
- Hadoop Shell
1.常用的一些Shell 再好的博客,都不如官方文档好用: http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html
随机推荐
- Android Locale
Locale 是用来适配语言和地区的.在实际使用过程中,如果使用不当还是会出现错误. 首先,需要了解的是,Locale 分两种,一种是语言,一种是地区.语言比如英语,地区比如美国.区别显而易见,说英语 ...
- Exp3 免杀原理与实践 20164321 王君陶
Exp3 免杀原理与实践 20164321 王君陶 1实验要求 1.1 正确使用msf编码器(0.5分),msfvenom生成如jar之类的其他文件(0.5分),veil-evasion(0.5分), ...
- Bonjour Operations
https://developer.apple.com/library/ios/documentation/Cocoa/Conceptual/NetServices/Articles/NetServi ...
- 六，mysql优化——小知识点
1,选择适当的字段类型,特别是主键 选择字段的一般原则是保小不保大,能占用字节小的字段就不用大字段.比如主键,建议使用自增类型,这样节省空间,空间就是效率!按4个字节和按32个字节定位一条记录,谁快谁 ...
- php 向二维数组中追加元素
处理之前的数据: 处理后: //$consult 为往里插之前的数组 //把$arr的元素追加到$consult的最前面 $arr = []; $arr[0]['workplaceId'] = '0' ...
- elasticsearch索引路径规则
Path to data on disk In prior versions of Elasticsearch, the path.data directory included a folder f ...
- vue学前班004（基础指令与使用技巧）
我学vue 的最终目的是为了 做apicloud 和vue 的开发 作为配合apicloud的前端框架使用 所以项目用不到的会暂时不介绍. (强烈建议 官网案例走一遍) 基础指令的学习(结合aui ...
- linux的hostname(主机名)修改详解
Linux操作系统的hostname是一个kernel变量,可以通过hostname命令来查看本机的hostname.也可以直接cat /proc/sys/kernel/hostname查看. #ho ...
- Grid++Report——打印功能
一.安装下载 http://www.rubylong.cn/Download.htm 二.添加引用 三.添加类 四.制作打印模板 1.新增报表节 新增明细网格 新增列→设置为自由格→调整大小 报表→设 ...
- 2018春招-今日头条笔试题-第一题（python）
题目描述:2018春招-今日头条笔试题5题(后附大佬答案-c++版) 解题思路: 要想得到输入的数字列中存在相隔为k的数,可以将输入的数字加上k,然后判断其在不在输入的数字列中即可. #-*- cod ...