前一段时间频繁使用HDFS,又收集到了一些命令,在这儿分享出来,大数据的框架及设计原理方面的理论文章暂时还没有时间总结,后面有时间逐渐整理发出来。

  注:在使用命令时,可以使用 hadoop fs,如果配置了环境变量,可以使用 hdfs dfs 和 hadoop fs 这个两个命令。

  #export HADOOP_USER_NAME=hdfs          --设置hadoop_user_name

  #hdfs dfs -help                    --查看hdfs帮助

  #hdfs dfs -ls /        #hadoop fs -ls /         --查看根目录文件
  #hdfs dfs -put sourcepath savepath            --hdfs上传文件,-f 覆盖已有文件;-p 保留原文件属性
  #hdfs dfs -get sourcepath savepath            --hdfs下载文件

  #hdfs dfs -mkdir -p /output/dirname              --创建文件夹dirname

  #hdfs dfs -mkdir -p /output/dirname            --创建多级目录

  #hdfs dfs -touchz /input/filename             --创建文件filename
  #hdfs dfs -cat /input/filename                 --查看文件filename

  #hdfs dfs -du -s /input/                   --查看所有文件大小和字节大小
  #hdfs dfs -cp /sourcefile /targetfile              --复制文件
  #hdfs dfs -rm /directory/                 --删除文件
  #hdfs dfs -rm -R /directory/                  --删除文件夹,-R循环删除文件夹里面的文件

  #hdfs dfs -mv /user/root/.Trash/Current/test/filename /test/filename         --找回删除文件

  #运行MapReduce: hadoop jar jarpath inputfilepath outputdir
  #hadoop jar /opt/test.jar /input/test/test.txt /output/test/
  #yarn jar /opt/test.jar /input/test/test.txt /output/test/

  #hdfs dfs -getmerge sourcepaths savefilename         --合并文件
  #hdfs dfsadmin -report                   --查看HDFS的基本统计信息

  #hdfs dfs -text /input/log.txt                 --将给定的文件以文本的格式输出,zip、TextRecordInputStream、Avro

  #hdfs dfs -appendToFile /sourcefile /targetfile         --向目标文件中追加内容

  #hdfs dfs -count /input/test/                 --统计文件夹和文件个数

  #hdfs fsck /data/test.csv -files -racks -locations -blocks       --查看文件分区存储情况

  #tail -f filename.log                      --动态查看log日志

1.Permission denied: user=root, access=WRITE, inode="/input":hdfs:supergroup:drwxr-xr-x 原因是为配置hadoop的user环境变量

  #export HADOOP_USER_NAME=hdfs            --设置hadoop_user_name

常用HDFS操作命令的更多相关文章

  1. 记录 git 常用的操作命令总结

    记录 git 常用的操作命令总结 2016-12-15 16:44:04 作为一名开发者,熟悉使用 git 代码管理工具是一项必备的基本技能.git 相较 SVN 而言,其优点不言而喻.git 的功能 ...

  2. dos常用文件操作命令

    1.DIR 含义: 显示指定目录下的文件和子目录列表 类型: 内部命令 格式: DIR[drive:][path][filename][/p][/w][/A[[:]attributes]][/O[[: ...

  3. CentOS运维常用管理操作命令

    自己整理的整理Linux常用运维和linux常用管理操作命令,当然不是非常详细和丰富,但是也基本上够用了吧.欢迎留言补充更多的Linux常用运维和linux常用管理操作命令.不断完善中.... 备份m ...

  4. Hadoop HDFS操作命令总结

    Hadoop HDFS操作命令总结 1.列出根目录下所有的目录或文件 hadoop fs -ls / 2.列出/logs目录下的所有目录和文件 hadoop fs -ls /logs 3.列出/use ...

  5. git中常用的操作命令有哪些?常用操作命令归纳

    git中常用的操作命令有哪些?本篇文章就给到大家归纳了一些git中常用操作命令.有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助. git开始 全局配置:配置用户名和e-mail地址 1 ...

  6. GlusterFS常用维护操作命令

    GlusterFS常用维护操作命令 1.启动/关闭/查看glusterd服务 # /etc/init.d/glusterd start # /etc/init.d/glusterd stop # /e ...

  7. hadoop HDFS常用文件操作命令

    命令基本格式: hadoop fs -cmd < args > 1. ls 列出hdfs文件系统根目录下的目录和文件 hadoop fs -ls /dir hadoop fs -ls -R ...

  8. Hadoop之HDFS常用文件操作命令

    命令基本格式:hadoop fs -cmd < args > 1. ls 列出hdfs文件系统根目录下的目录和文件hadoop fs -ls /dirhadoop fs -ls -R /d ...

  9. [Linux] Linux常用文本操作命令整理

    简单的总结一下常用的一些实用的Linux文本操作命令,包括wc(统计).cut(切分).sort(排序).uniq(去重).grep(查找).sed(替换.插入.删除).awk(文本分析). 1.统计 ...

随机推荐

  1. 轻松学习java可重入锁(ReentrantLock)的实现原理

    转载自https://blog.csdn.net/yanyan19880509/article/details/52345422,(做了一些补充) 前言 相信学过java的人都知道 synchroni ...

  2. 在react/redux中使用Immutable

    在redux中使用Immutable 1.什么是Immutable? Immutable是一旦创建,就不能被更改的数据. 对Immutable对象的任何修改或添加删除操作都会返回一个新的Immutab ...

  3. SharePoint REST API - 使用REST接口对列表设置自定义权限

    博客地址:http://blog.csdn.net/FoxDave SharePoint网站.列表和列表项都属于SecurableObject类型.默认情况下,一个安全对象继承父级的权限.对一个对 ...

  4. 蓝牙协议分析(8)_BLE安全机制之白名单

    1. 前言 在万物联网的时代,安全问题将会受到非常严峻的挑战(相应地,也会获得最大的关注度),因为我们身边的每一个IOT设备,都是一个处于封印状态的天眼,随时都有被开启的危险.想想下面的场景吧: 凌晨 ...

  5. 成员变量位置获取url

  6. 创建cocoapod静态库发布到网上使用

    1,在github上创建一个空仓库,要有licence和readme,clone到本地 2,pod lib create 项目名,这样就创建了一个静态库 3,pod spec create 项目名,创 ...

  7. jQuery-2.DOM---节点插入

    DOM内部插入append()与appendTo() 动态创建的元素是不够的,它只是临时存放在内存中,最终我们需要放到页面文档并呈现出来.那么问题来了,怎么放到文档上? 这里就涉及到一个位置关系,常见 ...

  8. mysql 基本函数以及初学语句

    创建数据库create database 数据库名: 查看数据库列表show databases; 选择数据库use 数据库名: 删除数据库drop database 数据库名: 创建表CREATE ...

  9. latex之矩阵表示

    $ \begin{matrix} 1 & 0 & 0\\ 0 & 1 & 0\\ 0 & 0 & 1 \end{matrix}\quad \begin{ ...

  10. JDK下载与安装、 Eclipse下载与使用、 Tomcat下载与使用、 MySQL安装与使用

    前言 本文将介绍JDK的下载与安装,eclipse的下载与使用,Tomcat的下载与使用,MySQL的安装与使用. JDK下载与安装 一.JRE与JDK介绍 java是当前比较流行的一种编程语言,当我 ...