HDFS基本Shell命令

bin目录下：

1. hadoop fs 基本操作命令，类似linux shell

2. hadoop dfsadmin    管理命令

3. hadoop fsck （1. 检查hdfs中文件的健康状况

2. 查找确实的块以及过少或过多的副本的块

3. 查看一个文件的所有数据块位置

4. 删除损坏的数据块）

例子：

$/bin/hadoop fsck /***.txt -files -blocks -locations

4. start-balancer.sh -threshold 10%  （数据块重分布，最高的和最低的相差小于或等于10%）

5. hadoop dfsadmin -setSpaceQuota 1T /user/username  限制一个目录最多使用的磁盘大小为1T

6. hadoop dfsadmin -setQuota 1000 /user/username   限制一个目录最多包含的子目录和文件数

7. hadoop dfsadmin -refreshNodes   移除一个datanode的步骤：将datanode的host或ip加入namenode的配置项dfs.hosts.exclude中，然后执行此命令

sbin目录下：

1. start-all.sh

2. start-dfs.sh

3. hadoop-deamon.sh

4. hadoop-deamon.sh start namenode（单独启动namenode）

5. hadoop-deamon.sh start datanode（单独启动datanode，也可以用于新增datanode）

安全模式：

在启动集群的过程中，hdfs集群在加载block过程中，会进入安全模式，防止用户的一些操作妨碍block加载等过程。

hdfs dfsadmin -savemode get/leave/enter/wait

增加节点：

sbin/hadoop-daemon.sh start datanode

删除节点：

将需要移除的节点的主机名或IP加入Namenode黑名单，修改Namenode的hdfs-site.xml文件，设置dfs.hosts.exclude配置的值为需要移除的datanode的主机名或IP。

启动集群后执行 bin/hadoop dfsadmin -refreshNodes

sbin/start-balancer.sh -threshold 10   （10为平衡阈值，即10%，即各个节点使用的相差的最大值）