HDFS Basic Operation
1、如何启动一个命令行的hadoop客户端
任何一个Hadoop集群中的节点,只要有hadoop安装包,就可以通过# hadoop fs来启动
2、Hadoop基本命令格式
# hadoop fs -cmd <args>
3、上传文件到HDFS 集群
hadoop fs -put
# hadoop fs -put 本地文件 hdfs文件 # hdfs文件的父目录一定要存在,否则不执行
# hadoop fs -put 本地文件/目录 hdfs目录 # hdfs目录一定要存在,否则不执行
# hadoop fs -put - hdfs文件 # - 表示从键盘读取输入, 保存到hdfs文件,ctrl+d结束,hdfs文件不能存在,否则不执行
hadoop fs -moveFromLocal
# hadoop fs -moveFromLocal <local src> ….. <hdfs dst>
和put命令类似,命令执行后源文件从本地删除,也可以从键盘读取输入
hadoop fs -copyFromLocal
# hadoop fs -copyFromLocal <local src>…. <hdfs dst>
4、 从HDFS集群下载文件
hadoop fs -get <hdfs file> <local file or dir>
# local file不能和hdfs file重名,否则提示文件已存在,不重名才下载
# localfile不写则下载到本地的当前目录,生成同名文件
hadoop fs -get <hdfs file> …….. <local dir>
下载多个hdfs文件到本地目录
注意:如果不是root用户,要使用本用户的本地目录,权限问题
hadoop fs -copyToLocal <hdfs src>…..<local dst>
5、 查看HDFS集群文件目录 hadoop fs -ls /
# hadoop fs -ls / 列出根目录下的目录和文件
# hadoop fs -ls -R / -R,recursively
6、 创建HDFS下的目录 hadoop fs -mkdir
# hadoop fs –mkdir <hdfs path> # 一级一级创建,父目录不存在会报错
# hadoop fs -mkdir -p <hdfs path> # 递归创建多级目录,从外到内
7、 删除HDFS下的目录或文件 hadoop fs –rm –r
# hadoop fs -rm <hdfs file>…… # 每次可以删除多个文件
# hadoop fs –rm –r <hdfs dir> ……. # 每次可以删除多个目录
# hadoop fs -rmr <hdfs dir>…….. # -rmr = -rm -r
8 、HDFS内的文件拷贝 hadoop fs -cp
# hadoop fs –cp <hdfs src> <hdfs dst>
目标文件不能存在,否则命令不执行(给源文件重命名并保存)
# hadoop fs –cp <hdfs file or dir> <hdfs dir>
目标目录要存在,否则不执行
9、 HDFS中的文件移动 hadoop fs -mv
# hadoop fs -mv <hdfs file> <hdfs file>
目标文件不能存在(文件重命名并保存,源文件不存在)
# hadoop fs –mv <hdfs file or dir> …… <hdfs dir>
源文件多个,目标必须是目录,且必须存在
10、 HDFS中的文件统计
hadoop fs -count
# hadoop fs –count <hdfs path>
统计路径下的:目录个数、文件个数、文件总计大小
hadoop fs -du
# hadoop fs –du <hdfs path>
每个文件夹和文件的大小, -du disk usage
# hadoop fs –du –h <hdfs path>
每个文件夹和文件的大小,-h human readable
# hadoop fs –du –s <hdfs path>
所有文件的和的大小, -s, summary
11、 HDFS文件以文本格式输出 hadoop fs –text
# hadoop fs –text <hdfs file>
将文本文件或某些格式的非文本文件,通过文本格式输出到console
12、 修改HDFS文件副本数 hadoop fs – setrep 2
# hadoop fs –setrep –R 2 <hdfs path>
将指定目录下的文件做递归修改,-R recursively, 2修改后的副本数
13、 HDFS多个文件排序合并到本地文件 hadoop fs -getmerge
# hadoop fs –getmerge <hdfs dir> <local file>
将hdfs指定目录下的所有文件排序后合并输出到指定本地文件,文件不存在则自动创建,存在则覆盖写入
# hadoop fs –getmerge –nl <hdfs dir> <local file>
合并到local file中的不同hdfs文件之间会空出一行
HDFS Basic Operation的更多相关文章
- matlab basic operation command
Matlab basic operation: >> 5+6 ans = 11 >> 3*4 ans = 12 >> 2^6 ans = 64 >> 1 ...
- 【MongoDB】The basic operation of Index in MongoDB
In the past four blogs, we attached importance to the index, including description and comparison wi ...
- Hadoop HDFS Basic JAVA API
org.apache.hadoop.fs.FileSystem 是HDFS的文件系统抽象,在分布式系统中管理HDFS文件和目录.文件内容存储在由多个相同大小的块(如64M)构成的datanode节 ...
- Javascript Basic Operation Extraction
1. logic operation : '&&' and '||' .For this two logic operations,its' results are inconcl ...
- Basic Operation about Linux
1. 永久开启/关闭防火墙 在linux中防火墙是一个名叫iptables的工具 开启: chkconfig iptables on 关闭: chkconfig iptables off 即时生效,重 ...
- mysql basic operation,mysql总结
mysql> select * from wifi_data where dev_id like "0023-AABBCCCCBBAA" ; 1.显示数据库列表.show d ...
- mysql basic operation,mysql总结,对mysql经常使用语句的详细总结,MySQL学习笔记
mysql> select * from wifi_data where dev_id like "0023-AABBCCCCBBAA" ; 1.显示数据库列表.show d ...
- 【HDFS API编程】从本地拷贝文件,从本地拷贝大文件,拷贝HDFS文件到本地
接着之前继续API操作的学习 CopyFromLocalFile: 顾名思义,从本地文件拷贝 /** * 使用Java API操作HDFS文件系统 * 关键点: * 1)create Configur ...
- internal table operation
1: the basic operation *&---------------------------------------------------------------------* ...
随机推荐
- PKI信息安全知识点详细解答包含HTTPS
1. 什么是X.509? X.509标准是ITU-T设计的PKI标准,他是为了解决X.500目录中的身份鉴别和访问控制问题设计的. 2. 数字证书 数字证书的意义在于回答公钥属于谁的问题,以帮助用户安 ...
- Spring第四篇【Intellij idea环境下、Struts2和Spring整合】
前言 Spring的第二和第三篇已经讲解了Spring的基本要点了[也就是Core模块]-本博文主要讲解Spring怎么与Struts2框架整合- Struts2和Spring的整合关键点: acti ...
- Hibernate第六篇【多对多映射、一对一映射】
前言 前面已经讲解了一对多和多对一的映射是怎么配置了,也讲解了inverse和cascade属性对关联关系的影响,本博文讲解多对多的映射和一对一的映射! 多对多映射 需求:一个项目由多个员工开发,一个 ...
- Android UI系列--对话框(一)(AlertDialog,TimePickerDialog,DatePickerDialog,ProgressDialog)
一.Dialog介绍 dialog就是一个在屏幕上弹出一个可以让用户做出一个选择,或者输入额外的信息的对话框,一个对话框并不会沾满我们整个的屏幕,并且通常用于模型事件当中需要用户做出一个决定后才会继续 ...
- Failed to start component [StandardEngine[Catalina].StandardHost[localhost].StandardContext[/SpringStruts]]
今天启动Tomcat时候遇到了这个问题 Failed to start component [StandardEngine[Catalina].StandardHost[localhost].Stan ...
- 一个简单小巧的CSV读取类
最近在基于亚马逊MWS API做一些服务,需要读取亚马逊返回的报表,是一个按照\t分割的文本,所以就封装了一个简单小巧的CsvReader类 使用方法 使用方法非常简单,只需要传递一个stream子类 ...
- jQuery自定义插件--banner图滚动
前言 jQuery是一个功能强大的库,提供了开发JavaScript项目所需的所有核心函数.很多时候我们使用jQuery的原因就是因为其使用插件的功能,然而,有时候我们还是需要使用自定义代码来扩展这些 ...
- snmp之GenericAddress
GenericAddress 注册地址类型,而不是默认的,第一次调用解析(java.lang.String的)方法之前,设置系统属性ADDRESS_TYPES_PROPERTIES. 这个类涉及到了工 ...
- Bear and Floodlight 状态压缩DP啊
Bear and Floodlight Time Limit: 4000MS Memory Limit: 262144KB 64bit IO Format: %I64d & %I64u ...
- bzoj3624(铺黑白路)(并查集维护)
题意网上自己随便找,绝对是找的到的. 题解:(白边表示鹅卵石路,黑边表示水泥路)这道题的解法,先考虑将黑边所有都先连起来,组成一个又一个的联通块,然后用白边去连, 如果可以联通的话,就用白边去代替黑边 ...