Hadoop学习笔记-HDFS命令

进入 $HADOOP/bin

一.文件操作

文件操作 类似于正常的linux操作前面加上“hdfs dfs -”

前缀也可以写成hadoop而不用hdfs,但终端中显示

Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.

1.创建目录：(注意 文件夹需一级一级创建)

hdfs dfs -mkdir /user

hdfs dfs -mkdir /user/com

hdfs dfs -mkdir /user/com/evor

2.删除文件目录

hdfs dfs -rm -r /user/com/evor  （-rmr也可以） 删除文件夹下所有东西 rm的递归版本

hdfs dfs -rm /user/com/evor/hadoop.txt　　删除文件

3.上传文件

1）hdfs dfs -put  /本/地/路/径/spark.jar   /user/com/evor

2）hdfs dfs -copyFromLocal  /本/地/路/径/spark.jar   /user/com/evor

区别 copyFromLocal 限定源路径为本地的路径，其他与-put相同

4.下载文件

复制文件到本地

1) hdfs dfs -get /user/com/evor/spark.jar   /本/地/路/径

2) hdfs dfs -copyToLocal  /user/com/evor/spark.jar   /本/地/路/径

区别 copyToLocal 限定目标路径为本地的路径，其他与-get相同

5.查看文件

我们可以直接在hdfs中直接查看文件，功能与cat类似

将路径指定文件的内容输出到stdout。

hdfs dfs -cat /user/com/evor/hadoop.txt

hadoop fs -cat hdfs://host1:port1/file1  hdfs://host2:port2/file2

hadoop fs -cat file:///file3   /user/hadoop/file4

6.修改权限

hdfs dfs -chmod 777 /user/com/evor/WordCount.sh

二.MapReduce Job操作

1. 提交MapReduce Job

运行jar文件。用户可以把他们的Map Reduce代码捆绑到jar文件中，原则上说，Hadoop所有的MapReduce Job都是一个jar包。

运行一个/home/admin/hadoop/job.jar的MapReduce Job

执行：hadoop  jar /home/admin/hadoop/job.jar [jobMainClass] [jobArgs]    (注意 是hadoop 不是hdfs)

2. 杀死某个正在运行的Job

假设Job_Id为：job_201005310937_0053

执行：hadoop job -kill job_201005310937_0053

相关链接 ->http://www.cnblogs.com/xd502djj/p/3625799.html

更多命令提示：

输入hdfs

hadoop@Node4:/$ hdfs
Usage: hdfs [--config confdir] COMMAND
       where COMMAND is one of:
  dfs                  run a filesystem command on the file systems supported in Hadoop.
  namenode -format     format the DFS filesystem
  secondarynamenode    run the DFS secondary namenode
  namenode             run the DFS namenode
  journalnode          run the DFS journalnode
  zkfc                 run the ZK Failover Controller daemon
  datanode             run a DFS datanode
  dfsadmin             run a DFS admin client
  haadmin              run a DFS HA admin client
  fsck                 run a DFS filesystem checking utility
  balancer             run a cluster balancing utility
  jmxget               get JMX exported values from NameNode or DataNode.
  oiv                  apply the offline fsimage viewer to an fsimage
  oev                  apply the offline edits viewer to an edits file
  fetchdt              fetch a delegation token from the NameNode
  getconf              get config values from configuration
  groups               get the groups which users belong to
  snapshotDiff         diff two snapshots of a directory or diff the
                       current directory contents with a snapshot
  lsSnapshottableDir   list all snapshottable dirs owned by the current user
                        Use -help to see options
  portmap              run a portmap service
  nfs3                 run an NFS version  gateway
  cacheadmin           configure the HDFS cache

Most commands print help when invoked w/o parameters.

================================

注意：格式化hadoop之后重新启动平台，输入jps 有时会发现没有namenode进程

查namenode日志文件，/usr/local/hadoop/hadoop-2.4.1/logs 里的namenode相关文件，发现namenode clusterID与datenode的不同造成了错误

分别查看

/usr/local/hadoop/hadoop-2.4.1/hdfs/data/current/VERSION

/usr/local/hadoop/hadoop-2.4.1/hdfs/name/current/VERSION

将clusterID改成相同即可。