Hadoop shell 一查就会
Hadoop shell 命令有三种格式
- hdfs + dfs (必须是dfs)
- Hadoop + dfs
- Hadoop + df
| 命令 | 说明 |
|---|---|
| hadoop 版本查看 | hadoop version |
| hadoop 显示命令信息 | hadoop dfs |
| 列出 HDFS 目录 | Hadoop fs -ls / |
| 递归列出 / 下的所有目录（包括子目录） | Hadoop fs -lsr / |
| hdfs 查看文件内容 | hdfs dfs -cat /output/part-00000 |
| hdfs 查看文件内容，并进行分页显示 | hdfs dfs -cat /output/part-00000 | more |
| hdfs 查看文件内容 | hdfs dfs -text /output/part-00000 |
| Hdfs 查看指定文件大小 | hdfs dfs -du /output/part-00000 |
| 将 HDFS 上的文件复制到本地 | hdfs dfs -get /output/part-00000 /usr/local/load.txt |
| 将 HDFS 上的文件复制到本地（二） | hdfs dfs -copyToLocal /output/part-00000 /usr/local/load.txt |
| 在 HDFS 上创建文件目录 | hadoop fs -mkdir /data |
| 在 HDFS 上一次性创建多级目录 | hadoop fs -mkdir -p /data/child1/child2 |
| 复制本地文件或HDFS文件到HDFS 指定路径 | hadoop fs -put /usr/local/load.txt /data/ |
| 复制本地文件到HDFS 指定路径，更严格（二） | hadoop fs -copyFromLocal /usr/local/load.txt /data/ |
| 移除HDFS 指定目录文件 | hadoop fs -rm |
| 移除HDFS 指定目录文件和其子目录 | hadoop fs -rmr |
| 将文件尾部1K字节的内容输出 | hdfs dfs -tail /data/load.txt |
更详细的 shell 说明请点击查看，可以在集群浏览器中输入 http://yarn00:50070 浏览和操作HDFS的目录和文件。
路径浏览
对应 http://yarn00:50070 中的界面如下：
Hadoop shell 一查就会的更多相关文章
- Hadoop Shell命令大全
hadoop支持命令行操作HDFS文件系统,并且支持shell-like命令与HDFS文件系统交互,对于大多数程序猿/媛来说,shell-like命令行操作都是比较熟悉的,其实这也是Hadoop的极大 ...
- 【转】shell速查表
shell速查表 转自:https://www.jianshu.com/p/a98a334bfb25 1. 变量 #!/bin/bash msg="hello world" ech ...
- Hadoop Shell 操作
此随笔仅记录一下常用的Hadoop shell 操作的命令 参考官方文档 http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html FS S ...
- Hadoop Shell命令字典（可收藏）
可以带着下面问题来阅读: 1.chmod与chown的区别是什麽?2.cat将路径指定文件的内容输出到哪里?3.cp能否是不同之间复制?4.hdfs如何查看文件大小?5.hdfs如何合并文件?6.如何 ...
- hadoop shell 操作命令
shell操作命令: hdfs的路径,在core-site.xml中定义 <property> <name>fs.default.name</name> <v ...
- hadoop shell 详解
概述 所有的hadoop命令均由bin/hadoop脚本引发.不指定参数运行hadoop脚本会打印所有命令的描述. 用法: hadoop [--config confdir] [COMMAND] ...
- Hadoop Shell命令（基于linux操作系统上传下载文件到hdfs文件系统基本命令学习）
Apache-->hadoop的官网文档命令学习:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html FS Shell 调用文件系统( ...
- Hadoop shell命令
1.FS Shell 调用文件系统(FS)shell命令应使用bin/hadoop fs <args>的形式.所有的的FS shell命令使用URI路径作为参数.URI格式是scheme: ...
- Hadoop Shell
1.常用的一些Shell 再好的博客,都不如官方文档好用: http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html
随机推荐
- flume在windows环境下的使用
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集.聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据:同时,Flume提供对数据进行简单处理, ...
- 【JavaScript】call和apply区别及使用方法
一.方法的定义call方法: 语法:fun.call(thisArg[, arg1[, arg2[, ...]]])定义:调用一个对象的一个方法,以另一个对象替换当前对象.说明:call 方法可以用来 ...
- 目标检测算法—YOLO-V1
为什么会叫YOLO呢? YOLO:you only look once.只需要看一眼,就可以检测识别出目标,主要是突出这个算法 快 的特点.(原文:Yolo系列之前的文章:主要是rcnn系列的,他们的 ...
- OS之内存管理 ---基本的内存管理策略（一）
基本概念 基本硬件 CPU可以直接访问的通用存储只有内存和处理器的内置的寄存器.机器指令可以用内存地址作为参数,而不能用磁盘地址作为参数.所以执行指令以及指令使用的数据,应在这些可执行访问的存储设备上 ...
- java数据结构之递归算法
概述程序调用自身的编程技巧称为递归( recursion).递归做为一种算法在程序设计语言中广泛应用.递归有直接递归和间接递归•直接递归:函数在执行过程中调用本身.•间接递归:函数在执行过程中调用其它 ...
- 【java排序】 选择排序，插入排序，希尔算法
一.选择排序 1.基本思想:在要排序的一组数中,选出最小的一个数与第一个位置的数交换:然后在剩下的数当中再找最小的与第二个位置的数交换,如此循环到倒数第二个数和最后一个数比较为止. 2.实例 3.算法 ...
- Android 开发工具类 28_sendGETRequest
以 GET 方式上传数据,小于 2K,且安全性要求不高的情况下. package com.wangjialin.internet.userInformation.service; import jav ...
- Android 开发工具类 27_多线程下载大文件
多线程下载大文件时序图 FileDownloader.java package com.wangjialin.internet.service.downloader; import java.io.F ...
- Scala的下载和安装（本地）
前言 Scala版本的选法: 目前,Kafka库和JDBC并不支持Scala2.11的编译,以及结合大多数人的使用请来看. scala2.10.*为主,在这,scala2.10.4版本 ...
- mysql show processlist分析
mysql> show processlist; +—–+————-+——————–+ | Id | User | Host | db | Command | Time| State | Inf ...