HDFS Shell 操作

HDFS Shell 操作

HDFS Shell 命令行格式

• 格式一：hadoop fs –命令名 参数
• 格式二：hdfs dfs –命令名 参数

HDFS 常用命令及参数

• ls：查看 hdfs 中的目录信息

[root@node-01 ~]# hadoop fs -ls /

• put或copyFromLocal：将本地文件上传到 hdfs 中

[root@node-01 ~]# hadoop fs -put hdp.test01 /
#或者
[root@node-01 ~]# hadoop fs -copyFromLocal master.log /

• moveFromLocal：将本地文件移动到 hdfs 中

[root@node-01 ~]# hadoop fs -moveFromLocal master.log /

• get或copyToLocal：从 hdfs 下载文件到本地

[root@node-01 ~]# hadoop fs -get /install.log ./
#或者
[root@node-01 ~]# hadoop fs -copyToLocal /install.log ./

• moveToLocal：将 hdfs 文件移动到本地中

  [root@node-01 ~]# hadoop fs -moveToLocal /install.log ./

• mkdir：在 hdfs 上创建文件夹

 [root@node-01 ~]# hadoop fs -mkdir /test

• mv：移动 hdfs 中的文件（或更名）

[root@node-01 ~]# hadoop fs -mv /install.log /test/install01.log

• rm：删除 hdfs 文件（ -r 删除文件夹）

[root@node-01 ~]# hadoop fs -rm -r /test

• rmdir：删除 hdfs 空目录

[root@node-01 ~]# hadoop fs -rmdir /test

• cat或tail：查看 hdfs 文件内容

[root@node-01 ~]# hadoop fs -cat /master.log
#或者
[root@node-01 ~]# hadoop fs -tail -f /master.log

• appendToFile：追加内容到 hdfs 文件中

[root@node-01 ~]# hadoop fs -appendToFile hello.log /install.log

• chown：修改 hdfs 文件权限（hdfs没有真正权限模块，可以修改为任何用户名或组群）

[root@node-01 ~]# hadoop fs -chown binge:bingegroup /master.log

# 修改 hdfs 文件权限（WebUI即可操作HDFS文件）
[root@node-01 ~]# hadoop fs -chmod -R 777 /

• cp：在 hdfs 内部复制文件

[root@node-01 ~]# hadoop fs -cp /master.log /master.log1

• df：统计 hdfs 可用空间信息

[root@node-01 ~]# hadoop fs -df -h /

• du：统计 hdfs 文件夹大小信息

[root@node-01 ~]# hadoop fs -du -h -s /test

• count：统计 hdfs 指定目录的文件节点数量

[root@node-01 ~]# hadoop fs -count /test

• setrep：设置 hdfs 中文件的副本数量

[root@node-01 ~]# hadoop fs -setrep 3 /test.txt

• 查看 hdfs 所有命令列表

[root@node-01 ~]# hadoop fs -help
Usage: hadoop fs [generic options]
        [-appendToFile <localsrc> ... <dst>]
        [-cat [-ignoreCrc] <src> ...]
        [-checksum <src> ...]
        [-chgrp [-R] GROUP PATH...]
        [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
        [-chown [-R] [OWNER][:[GROUP]] PATH...]
        [-copyFromLocal [-f] [-p] [-l] [-d] [-t <thread count>] <localsrc> ... <dst>]
        [-copyToLocal [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
        [-count [-q] [-h] [-v] [-t [<storage type>]] [-u] [-x] [-e] <path> ...]
        [-cp [-f] [-p | -p[topax]] [-d] <src> ... <dst>]
        [-createSnapshot <snapshotDir> [<snapshotName>]]
        [-deleteSnapshot <snapshotDir> <snapshotName>]
        [-df [-h] [<path> ...]]
        [-du [-s] [-h] [-v] [-x] <path> ...]
        [-expunge [-immediate]]
        [-find <path> ... <expression> ...]
        [-get [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
        [-getfacl [-R] <path>]
        [-getfattr [-R] {-n name | -d} [-e en] <path>]
        [-getmerge [-nl] [-skip-empty-file] <src> <localdst>]
        [-head <file>]
        [-help [cmd ...]]
        [-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [-e] [<path> ...]]
        [-mkdir [-p] <path> ...]
        [-moveFromLocal <localsrc> ... <dst>]
        [-moveToLocal <src> <localdst>]
        [-mv <src> ... <dst>]
        [-put [-f] [-p] [-l] [-d] <localsrc> ... <dst>]
        [-renameSnapshot <snapshotDir> <oldName> <newName>]
        [-rm [-f] [-r|-R] [-skipTrash] [-safely] <src> ...]
        [-rmdir [--ignore-fail-on-non-empty] <dir> ...]
        [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
        [-setfattr {-n name [-v value] | -x name} <path>]
        [-setrep [-R] [-w] <rep> <path> ...]
        [-stat [format] <path> ...]
        [-tail [-f] [-s <sleep interval>] <file>]
        [-test -[defswrz] <path>]
        [-text [-ignoreCrc] <src> ...]
        [-touch [-a] [-m] [-t TIMESTAMP ] [-c] <path> ...]
        [-touchz <path> ...]
        [-truncate [-w] <length> <path> ...]
        [-usage [cmd ...]]