1、如何启动一个命令行的hadoop客户端

任何一个Hadoop集群中的节点,只要有hadoop安装包,就可以通过# hadoop fs来启动

2、Hadoop基本命令格式

# hadoop  fs  -cmd  <args>

3、上传文件到HDFS 集群

 hadoop fs  -put

# hadoop  fs  -put   本地文件   hdfs文件          # hdfs文件的父目录一定要存在,否则不执行

# hadoop  fs  -put    本地文件/目录   hdfs目录      # hdfs目录一定要存在,否则不执行

# hadoop fs  -put   -   hdfs文件              # - 表示从键盘读取输入, 保存到hdfs文件,ctrl+d结束,hdfs文件不能存在,否则不执行

hadoop fs   -moveFromLocal

# hadoop  fs  -moveFromLocal  <local src> …..  <hdfs dst>

和put命令类似,命令执行后源文件从本地删除,也可以从键盘读取输入

hadoop fs  -copyFromLocal

# hadoop  fs   -copyFromLocal <local src>…. <hdfs dst>

4、 从HDFS集群下载文件

hadoop fs  -get  <hdfs file>   <local file or dir>

# local file不能和hdfs file重名,否则提示文件已存在,不重名才下载

# localfile不写则下载到本地的当前目录,生成同名文件

hadoop  fs  -get  <hdfs file> …….. <local dir>

下载多个hdfs文件到本地目录

注意:如果不是root用户,要使用本用户的本地目录,权限问题

hadoop  fs  -copyToLocal   <hdfs src>…..<local dst>

5、 查看HDFS集群文件目录  hadoop fs  -ls /

# hadoop  fs  -ls   /              列出根目录下的目录和文件

# hadoop fs   -ls  -R  /         -R,recursively

6、 创建HDFS下的目录  hadoop fs  -mkdir

# hadoop fs  –mkdir  <hdfs path>            # 一级一级创建,父目录不存在会报错

# hadoop fs  -mkdir  -p   <hdfs path>      # 递归创建多级目录,从外到内

7、 删除HDFS下的目录或文件  hadoop fs –rm –r

# hadoop  fs  -rm  <hdfs file>……        # 每次可以删除多个文件

# hadoop fs –rm –r <hdfs dir> …….     # 每次可以删除多个目录

# hadoop  fs  -rmr   <hdfs dir>……..     # -rmr  = -rm  -r

8 、HDFS内的文件拷贝 hadoop fs -cp

# hadoop fs –cp <hdfs src> <hdfs dst>

目标文件不能存在,否则命令不执行(给源文件重命名并保存)

# hadoop fs –cp <hdfs file or dir>  <hdfs dir>

目标目录要存在,否则不执行

9、 HDFS中的文件移动 hadoop fs -mv

# hadoop fs  -mv <hdfs file>  <hdfs file>

目标文件不能存在(文件重命名并保存,源文件不存在)

# hadoop fs –mv <hdfs file or dir> …… <hdfs dir>

源文件多个,目标必须是目录,且必须存在

10、 HDFS中的文件统计

hadoop fs -count

# hadoop fs –count <hdfs path>

统计路径下的:目录个数、文件个数、文件总计大小

hadoop fs -du

# hadoop fs –du <hdfs path>

每个文件夹和文件的大小, -du  disk usage

# hadoop fs –du –h <hdfs path>

每个文件夹和文件的大小,-h  human readable

# hadoop fs –du  –s <hdfs path>

所有文件的和的大小, -s, summary

11、 HDFS文件以文本格式输出 hadoop fs –text

# hadoop fs –text <hdfs file>

将文本文件或某些格式的非文本文件,通过文本格式输出到console

12、 修改HDFS文件副本数 hadoop fs – setrep 2

# hadoop fs –setrep –R 2 <hdfs path>

将指定目录下的文件做递归修改,-R recursively, 2修改后的副本数

13、 HDFS多个文件排序合并到本地文件 hadoop fs -getmerge

# hadoop fs –getmerge  <hdfs dir>  <local file>

将hdfs指定目录下的所有文件排序后合并输出到指定本地文件,文件不存在则自动创建,存在则覆盖写入

# hadoop fs –getmerge –nl <hdfs dir>  <local file>

合并到local file中的不同hdfs文件之间会空出一行

HDFS Basic Operation的更多相关文章

  1. matlab basic operation command

    Matlab basic operation: >> 5+6 ans = 11 >> 3*4 ans = 12 >> 2^6 ans = 64 >> 1 ...

  2. 【MongoDB】The basic operation of Index in MongoDB

    In the past four blogs, we attached importance to the index, including description and comparison wi ...

  3. Hadoop HDFS Basic JAVA API

      org.apache.hadoop.fs.FileSystem 是HDFS的文件系统抽象,在分布式系统中管理HDFS文件和目录.文件内容存储在由多个相同大小的块(如64M)构成的datanode节 ...

  4. Javascript Basic Operation Extraction

    1.  logic operation : '&&' and '||'  .For this two logic operations,its' results are inconcl ...

  5. Basic Operation about Linux

    1. 永久开启/关闭防火墙 在linux中防火墙是一个名叫iptables的工具 开启: chkconfig iptables on 关闭: chkconfig iptables off 即时生效,重 ...

  6. mysql basic operation,mysql总结

    mysql> select * from wifi_data where dev_id like "0023-AABBCCCCBBAA" ; 1.显示数据库列表.show d ...

  7. mysql basic operation,mysql总结,对mysql经常使用语句的详细总结,MySQL学习笔记

    mysql> select * from wifi_data where dev_id like "0023-AABBCCCCBBAA" ; 1.显示数据库列表.show d ...

  8. 【HDFS API编程】从本地拷贝文件,从本地拷贝大文件,拷贝HDFS文件到本地

    接着之前继续API操作的学习 CopyFromLocalFile: 顾名思义,从本地文件拷贝 /** * 使用Java API操作HDFS文件系统 * 关键点: * 1)create Configur ...

  9. internal table operation

    1: the basic operation *&---------------------------------------------------------------------* ...

随机推荐

  1. PKI信息安全知识点详细解答包含HTTPS

    1. 什么是X.509? X.509标准是ITU-T设计的PKI标准,他是为了解决X.500目录中的身份鉴别和访问控制问题设计的. 2. 数字证书 数字证书的意义在于回答公钥属于谁的问题,以帮助用户安 ...

  2. Spring第四篇【Intellij idea环境下、Struts2和Spring整合】

    前言 Spring的第二和第三篇已经讲解了Spring的基本要点了[也就是Core模块]-本博文主要讲解Spring怎么与Struts2框架整合- Struts2和Spring的整合关键点: acti ...

  3. Hibernate第六篇【多对多映射、一对一映射】

    前言 前面已经讲解了一对多和多对一的映射是怎么配置了,也讲解了inverse和cascade属性对关联关系的影响,本博文讲解多对多的映射和一对一的映射! 多对多映射 需求:一个项目由多个员工开发,一个 ...

  4. Android UI系列--对话框(一)(AlertDialog,TimePickerDialog,DatePickerDialog,ProgressDialog)

    一.Dialog介绍 dialog就是一个在屏幕上弹出一个可以让用户做出一个选择,或者输入额外的信息的对话框,一个对话框并不会沾满我们整个的屏幕,并且通常用于模型事件当中需要用户做出一个决定后才会继续 ...

  5. Failed to start component [StandardEngine[Catalina].StandardHost[localhost].StandardContext[/SpringStruts]]

    今天启动Tomcat时候遇到了这个问题 Failed to start component [StandardEngine[Catalina].StandardHost[localhost].Stan ...

  6. 一个简单小巧的CSV读取类

    最近在基于亚马逊MWS API做一些服务,需要读取亚马逊返回的报表,是一个按照\t分割的文本,所以就封装了一个简单小巧的CsvReader类 使用方法 使用方法非常简单,只需要传递一个stream子类 ...

  7. jQuery自定义插件--banner图滚动

    前言 jQuery是一个功能强大的库,提供了开发JavaScript项目所需的所有核心函数.很多时候我们使用jQuery的原因就是因为其使用插件的功能,然而,有时候我们还是需要使用自定义代码来扩展这些 ...

  8. snmp之GenericAddress

    GenericAddress 注册地址类型,而不是默认的,第一次调用解析(java.lang.String的)方法之前,设置系统属性ADDRESS_TYPES_PROPERTIES. 这个类涉及到了工 ...

  9. Bear and Floodlight 状态压缩DP啊

    Bear and Floodlight Time Limit: 4000MS   Memory Limit: 262144KB   64bit IO Format: %I64d & %I64u ...

  10. bzoj3624(铺黑白路)(并查集维护)

    题意网上自己随便找,绝对是找的到的. 题解:(白边表示鹅卵石路,黑边表示水泥路)这道题的解法,先考虑将黑边所有都先连起来,组成一个又一个的联通块,然后用白边去连, 如果可以联通的话,就用白边去代替黑边 ...