hdfs的文件个数 HDFS Quotas Guide

HDFS Quotas Guide

Overview

HDFS允许管理员为多个每个目录设置使用的命名空间和空间的配额。命名空间配额和空间配额独立操作，但是这两种类型的配额的管理和实现非常类似。

Name Quotas

命名空间配额是一个目录树中该目录下的文件和子目录数量的硬限制。如果超出配额，文件和目录会创建失败。配额会与重命名的目录保持联系。如果重命名操作导致违反配额限制，操作将会失败。为目录设置新的配额时，即使现在的目录状态违反新的配额限制，操作仍然成功。一个新创建的目录没有配额限制。配额的最大值是Long.Max_Value。一个目录的配额会强制一个目录保持空。（是的，一个目录会占用自己的配额）

配额在FsImage中被持久化。当集群启动时，如果fsimage中有违反配额的目录（可能是FsImage文件被偷偷地修改了），将会打印出一个warning。设置或者移除配额配置会创建日志条目。

Space Quotas

空间配额是关于目录树上一个子目录数下的文件大小的硬限制。如果一个目录所剩的配额不够一个Block的大小，Block申请失败。每一个Block的副本都会计算到配额中。配额会与重命名的目录保持联系，如果重命名操作导致违反配额限制，操作将会失败。一个新创建的目录不被分配配额。最大的配额值时Long.Max_Value。配额为0仍然允许文件被创建，但是这个文件不会有Block。目录不使用主机文件系统空间，不计算在空间配额中。（空间配额----Block）。改变一个文件的副本因子将会归还或者占用配额。

配额在FsImage中被持久化。当集群启动时，如果fsimage中有违反配额的目录（可能是FsImage文件被偷偷地修改了），将会打印出一个warning。设置或者移除配额配置会创建日志条目。

Administrative Commands

配额通过下面的命令管理，只对管理员可用：

1.      dfsadmin -setQuota <N><directory>...<directory>

设置一个或多个目录的命名空间配额为N。如果N不是一个正整数，这个目录不存在或者这个路径是个文件，或者目录将立即超出新的配额时会抛出错误报告。

2.      dfsadmin -clrQuota<directory>...<directory>

移除目录列表中目录的所有命名空间配额。如果目录不存在或者路径是一个文件，将会抛出错误。如果目录没有配额的话不会抛出错误。

3.      dfsadmin-setSpaceQuota <N> <directory>...<directory>

设置目录列表中的每个目录的空间配额为N，单位bytes。这是对此目录下的整个字目录树的文件大小总和的硬限制。空间配额也会考虑副本等的信息，拥有3个副本的1GB的数据会消耗3GB的配额。为了方便，N也可以用一个二进制前缀指定。例如，50g用50 gigabytes表示，2t用2terabytes表示等等。如果N既不是0也不是正整数或者目录不存在或者路径是个文件或者目录将立即超出配额，会抛出错误信息。

4.      dfsadmin-clrSpaceQuota <directory>...<director>

移除目录列表中每一个目录的空间配额。如果目录不存在或者路径是个文件，将会抛出错误。如果目录没有配额不会抛出错误。

Reporting Command

一个HDFS shell 计数命令的扩展，这个命令报考配额的值和当前使用的命名空间配额和空间配额。

fs -count -q <directory>...<directory>

使用-q选项，报告目录列表中每个目录的命名空间配额值，可用的命名空间剩余，空间配额值，可用的空间配额剩余。如果目录没有设置配额，报告的值时none和inf。