[大数据]Hadoop HDFS文件系统命令集

基本格式: hadoop fs -cmd [args]

1 Query

• 显示命令的帮助信息

# hadoop fs -help [cmd]

• 查看hadoop/hdfs的用户

# hdfs dfs -ls /user

更改hdfs的目录权限: hdfs dfs -chwon sdc /user/sdc

• 查看HDFS文件及目录

-ls(r) //显示当前目录下所有文件

# hadoop fs -ls /

# hadoop fs -ls -R /
(递归查看)

• 显示文件内容 in 终端

# hadoop fs -cat <src>

# hadoop fs -text <src>
(将文本文件或某些格式的非文本文件通过文本格式输出)

# hadoop fs -tail <hdfs file>
(在标准输出中显示文件末尾的1KB数据)

• 显示文件(目录)存储大小

# hadoop fs -du(s) <path>
//显示目录中所有文件大小

# hadoop fs -du -s <hdsf-path>
//显示hdfs对应路径下所有文件和的大小

# hadoop fs -du -h <hdsf-path>
显示hdfs对应路径下每个文件夹和文件的大小,文件的大小用方便阅读的形式表示。例如用64M代替67108864

• 显示目录中文件数量

# hadoop fs -count[-q] <path>

2 Manipulation

2.1 上传/移动/下载 [本地文件系统 ~ HDFS文件系统]

• 上传本地文件到HDFS文件系统的指定目录中

# hadoop fs -put ./local_test.txt /hdfs_test
或
#hadoop fs -copyFromLocal ./local_test.txt /hdfs_test

• 移动本地文件到HDFS文件系统的指定目录中

# hadoop fs -moveFromLocal ./local_test.txt /hdfs_test

• 下载HDFS文件系统的指定目录到本地路径下

# hadoop fs -get /hdfs_test/test.txt .
或
# hadoop fs -getToLocal /hdfs_test/test.txt .

hadoop fs -get [-ignoreCrc] //复制文件到本地，可忽略crc校验

hadoop fs -getmerge //将源目录中的所有文件排序合并到1个本地文件中。若文件不存在时会自动创建；若文件存在时会覆盖里面的内容

hadoop fs -getmerge -nl //加上-nl后，合并到local file中的hdfs文件之间会空出一行

• 移动HDFS文件系统的指定目录到本地文件中

# hadoop fs -moveToLocal <hdfs-src> <localdst>

2.2 数据操纵

• 拷贝/移动/删除 文件（夹）

# hadoop fs -cp /test/test.txt /test1
-cp <src-dir> <dst-dir>
(支持同时复制多个文件到目标目录)
# hadoop distcp hdfs://master1:8020/foo/bar hdfs://master2:8020/bar/foo
(两个haddop hdfs集群之间拷贝数据)

# hadoop fs -rm /test1/test.txt
  [删除文件]
# hadoop fs -rm -r /test1/
  [删除文件夹]

# hadoop fs -mv /test/test.txt /test1
-mv <src-dir> <dest-dir>

2.3 目录操纵

• 创建文件目录

# hadoop fs -mkdir /test
(在根目录创建一个目录test)

3 补充： Hive的支持

hive内亦支持 dfs 命令.

# hive> dfs -ls /;
Found 12 items
drwxr-xr-x   - hdfs   hdfs            0 2020-07-22 11:45 /2020
drwxr-xr-x   - hdfs   hdfs            0 2020-09-11 15:08 /2be982848f5f49e1884e43092f7670da
drwxrwxrwx   - yarn   hadoop          0 2020-11-14 13:15 /app-logs
drwxr-xr-x   - hdfs   hdfs            0 2020-07-21 19:08 /apps
drwxr-xr-x   - yarn   hadoop          0 2020-07-21 19:07 /ats
drwxrwxrwx   - hdfs   hdfs            0 2020-07-21 19:17 /kylin
drwxr-xr-x   - mapred hdfs            0 2020-07-21 19:06 /mapred
drwxrwxrwx   - mapred hadoop          0 2020-07-21 19:07 /mr-history
drwxr-xr-x   - hdfs   hdfs            0 2020-07-21 19:07 /sdp
drwxrwxrwx   - spark  hadoop          0 2021-04-29 19:41 /spark2-history
drwxrwxrwx   - hdfs   hdfs            0 2021-04-29 18:57 /tmp
drwxr-xr-x   - hdfs   hdfs            0 2020-11-13 20:38 /user

X 参考文献

• HDFS fs命令 - 博客园
• hadoop HDFS常用文件操作命令 - 博客园
• hadoop distcp使用 - CSDN
• HADOOP之HADOOP FS和HDFS DFS、HDFS FS三者区别 - 博客园