常用HDFS操作命令
前一段时间频繁使用HDFS,又收集到了一些命令,在这儿分享出来,大数据的框架及设计原理方面的理论文章暂时还没有时间总结,后面有时间逐渐整理发出来。
注:在使用命令时,可以使用 hadoop fs,如果配置了环境变量,可以使用 hdfs dfs 和 hadoop fs 这个两个命令。
#export HADOOP_USER_NAME=hdfs --设置hadoop_user_name
#hdfs dfs -help --查看hdfs帮助
#hdfs dfs -ls / #hadoop fs -ls / --查看根目录文件
#hdfs dfs -put sourcepath savepath --hdfs上传文件,-f 覆盖已有文件;-p 保留原文件属性
#hdfs dfs -get sourcepath savepath --hdfs下载文件
#hdfs dfs -mkdir -p /output/dirname --创建文件夹dirname
#hdfs dfs -mkdir -p /output/dirname --创建多级目录
#hdfs dfs -touchz /input/filename --创建文件filename
#hdfs dfs -cat /input/filename --查看文件filename
#hdfs dfs -du -s /input/ --查看所有文件大小和字节大小
#hdfs dfs -cp /sourcefile /targetfile --复制文件
#hdfs dfs -rm /directory/ --删除文件
#hdfs dfs -rm -R /directory/ --删除文件夹,-R循环删除文件夹里面的文件
#hdfs dfs -mv /user/root/.Trash/Current/test/filename /test/filename --找回删除文件
#运行MapReduce: hadoop jar jarpath inputfilepath outputdir
#hadoop jar /opt/test.jar /input/test/test.txt /output/test/
#yarn jar /opt/test.jar /input/test/test.txt /output/test/
#hdfs dfs -getmerge sourcepaths savefilename --合并文件
#hdfs dfsadmin -report --查看HDFS的基本统计信息
#hdfs dfs -text /input/log.txt --将给定的文件以文本的格式输出,zip、TextRecordInputStream、Avro
#hdfs dfs -appendToFile /sourcefile /targetfile --向目标文件中追加内容
#hdfs dfs -count /input/test/ --统计文件夹和文件个数
#hdfs fsck /data/test.csv -files -racks -locations -blocks --查看文件分区存储情况
#tail -f filename.log --动态查看log日志
1.Permission denied: user=root, access=WRITE, inode="/input":hdfs:supergroup:drwxr-xr-x 原因是为配置hadoop的user环境变量
#export HADOOP_USER_NAME=hdfs --设置hadoop_user_name
常用HDFS操作命令的更多相关文章
- 记录 git 常用的操作命令总结
记录 git 常用的操作命令总结 2016-12-15 16:44:04 作为一名开发者,熟悉使用 git 代码管理工具是一项必备的基本技能.git 相较 SVN 而言,其优点不言而喻.git 的功能 ...
- dos常用文件操作命令
1.DIR 含义: 显示指定目录下的文件和子目录列表 类型: 内部命令 格式: DIR[drive:][path][filename][/p][/w][/A[[:]attributes]][/O[[: ...
- CentOS运维常用管理操作命令
自己整理的整理Linux常用运维和linux常用管理操作命令,当然不是非常详细和丰富,但是也基本上够用了吧.欢迎留言补充更多的Linux常用运维和linux常用管理操作命令.不断完善中.... 备份m ...
- Hadoop HDFS操作命令总结
Hadoop HDFS操作命令总结 1.列出根目录下所有的目录或文件 hadoop fs -ls / 2.列出/logs目录下的所有目录和文件 hadoop fs -ls /logs 3.列出/use ...
- git中常用的操作命令有哪些?常用操作命令归纳
git中常用的操作命令有哪些?本篇文章就给到大家归纳了一些git中常用操作命令.有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助. git开始 全局配置:配置用户名和e-mail地址 1 ...
- GlusterFS常用维护操作命令
GlusterFS常用维护操作命令 1.启动/关闭/查看glusterd服务 # /etc/init.d/glusterd start # /etc/init.d/glusterd stop # /e ...
- hadoop HDFS常用文件操作命令
命令基本格式: hadoop fs -cmd < args > 1. ls 列出hdfs文件系统根目录下的目录和文件 hadoop fs -ls /dir hadoop fs -ls -R ...
- Hadoop之HDFS常用文件操作命令
命令基本格式:hadoop fs -cmd < args > 1. ls 列出hdfs文件系统根目录下的目录和文件hadoop fs -ls /dirhadoop fs -ls -R /d ...
- [Linux] Linux常用文本操作命令整理
简单的总结一下常用的一些实用的Linux文本操作命令,包括wc(统计).cut(切分).sort(排序).uniq(去重).grep(查找).sed(替换.插入.删除).awk(文本分析). 1.统计 ...
随机推荐
- 轻松学习java可重入锁(ReentrantLock)的实现原理
转载自https://blog.csdn.net/yanyan19880509/article/details/52345422,(做了一些补充) 前言 相信学过java的人都知道 synchroni ...
- 在react/redux中使用Immutable
在redux中使用Immutable 1.什么是Immutable? Immutable是一旦创建,就不能被更改的数据. 对Immutable对象的任何修改或添加删除操作都会返回一个新的Immutab ...
- SharePoint REST API - 使用REST接口对列表设置自定义权限
博客地址:http://blog.csdn.net/FoxDave SharePoint网站.列表和列表项都属于SecurableObject类型.默认情况下,一个安全对象继承父级的权限.对一个对 ...
- 蓝牙协议分析(8)_BLE安全机制之白名单
1. 前言 在万物联网的时代,安全问题将会受到非常严峻的挑战(相应地,也会获得最大的关注度),因为我们身边的每一个IOT设备,都是一个处于封印状态的天眼,随时都有被开启的危险.想想下面的场景吧: 凌晨 ...
- 成员变量位置获取url
- 创建cocoapod静态库发布到网上使用
1,在github上创建一个空仓库,要有licence和readme,clone到本地 2,pod lib create 项目名,这样就创建了一个静态库 3,pod spec create 项目名,创 ...
- jQuery-2.DOM---节点插入
DOM内部插入append()与appendTo() 动态创建的元素是不够的,它只是临时存放在内存中,最终我们需要放到页面文档并呈现出来.那么问题来了,怎么放到文档上? 这里就涉及到一个位置关系,常见 ...
- mysql 基本函数以及初学语句
创建数据库create database 数据库名: 查看数据库列表show databases; 选择数据库use 数据库名: 删除数据库drop database 数据库名: 创建表CREATE ...
- latex之矩阵表示
$ \begin{matrix} 1 & 0 & 0\\ 0 & 1 & 0\\ 0 & 0 & 1 \end{matrix}\quad \begin{ ...
- JDK下载与安装、 Eclipse下载与使用、 Tomcat下载与使用、 MySQL安装与使用
前言 本文将介绍JDK的下载与安装,eclipse的下载与使用,Tomcat的下载与使用,MySQL的安装与使用. JDK下载与安装 一.JRE与JDK介绍 java是当前比较流行的一种编程语言,当我 ...