hadoop常用的操作命令

1.显示hdfs上test目录下的所有文件列表

hadoop fs -ls /test/

2.查看hdfs中的文件内容

hadoop fs -cat /daas/bstl/term/rawdt/20150805_9 | less

3.在hdfs上创建目录

hadoop fs -mkdir /test/datatest //创建datatest

4.从hdfs上复制文件到另外的一个目录下

hadoop fs -cp /test/cp1.txt  /test1/   //将cp1.txt从test目录下复制到test1目录下

5.从本地上传文件到hdfs上

例如本地有文件:test.txt

hadoop  fs -put test.txt /test/data/    //将test.txt 用put命令上传至hdfs中的data目录下

6.从hdfs上将文件下载到本地

例如hdfs上有文件test.txt

hadoop fs -get /test/data/test.txt

7.用超级用户给用户加权限

hadoop fs -chown lyb:lyb /test/lyb

8.查看hdfs文件夹的占用内存

hadoop fs -du -s -h /test/datatest/flume

9.删除hdfs上的文件

hadoop fs -rm /test/data/test.txt  //删除test.txt文件

hadoop fs -rmr /test/data/  //删除data目录

hadoop fs -rmr /test/data/* //删除data目录下所有的文件

10.hdfs上把文件的前十条数据取出并下载到本地，并重命名为txt文件

hadoop fs -text /daas/bstl/dpifix/sichuan/20151104/FixedDPI.2015110423.1446652074136.lzo_deflate |head -n 10 >> /tmp/sichuan3.txt

11.查看hdfs上文件内容的条数

hadoop fs -ls /test/datatest/test.txt | wc -l

12.统计某一类文件的占用的大小：

示例：

(1)以G为单位显示：

hadoop fs -ls /daas/bstl/dpifix/sichuan/20151104 |grep 2015110409 |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size/1024/1024/1024,"G"}'

(2)以M为单位显示：

hadoop fs -ls /daas/bstl/dpifix/sichuan/20151104 |grep 2015110409 |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size/1024/1024,"M"}'

12.hadoop job 管理命令

(1)列出Jobtracer上所有的作业

hadoop job -list

(2)使用hadoop job -kill杀掉指定的jobid

hadoop job -kill job_id

(3)组合以上两条命令就可以实现kill掉指定用户的job

for i in `hadoop job -list | grep -w  username| awk '{print $1}' | grep job_`; do hadoop job -kill $i; done

13.彻底删除文件命令：

hadoop fs -rm -r -skipTrash