二、hadoop文件操作

1、使用hadoop命令查看hdfs下文件

[root@localhost hadoop-2.7.2]# hadoop fs -ls hdfs://192.168.211.129:9000/  (最后一定要加/)

开始在xshell上执行这条命令失败，使用netstat -nltp命令查看监听的9000端口，是127.0.0.1:9000，没有找到办法更改这个监听的IP和端口

后来就把etc/hadoop/core-site.xml配置下的localhost改为192.168.211.129，保存配置重启HDFS，使用上面命令还是不行，重启系统后再启动hdfs和yarn，再用上面命令就不报错了，命令执行后没有任何反应，那是因为没有在HDFS系统上存文件

2、上传文件到HDFS系统，例子中上传/jdk-7u80-linux-x64.rpm文件

[root@localhost hadoop-2.7.2]# hadoop fs -put /jdk-7u80-linux-x64.rpm  hdfs://192.168.211.129:9000/

上传完成后再查看hdfs下文件

hadoop fs -ls -h hdfs://192.168.211.129:9000//或hadoop fs -ls -h /

[root@localhost sbin]# hadoop fs -ls /

Found 1 items -rw-r--r--   1 root supergroup    131.7 M 2017-04-19 00:00 /jdk-7u80-linux-x64.rpm

这个上传的文件就被切割成块分别存放在datanode节点上了，由于都在同一台服务器上，那么文件被分的块在路径

/home/hadoop/hadoop-2.7.2/tmp/dfs/data/current/BP-2144136712-127.0.0.1-1492526252533/current/finalized/subdir0/subdir0

进入到该目录可以查看到相关的块信息：

[root@localhost subdir0]# ll

总用量 135916

-rw-r--r--. 1 root root 134217728 4月  19 00:00 blk_1073741825

-rw-r--r--. 1 root root   1048583 4月  19 00:00 blk_1073741825_1001.meta

-rw-r--r--. 1 root root   3872558 4月  19 00:00 blk_1073741826

-rw-r--r--. 1 root root     30263 4月  19 00:00 blk_1073741826_1002.meta

[root@localhost subdir0]# pwd

/home/hadoop/hadoop-2.7.2/tmp/dfs/data/current/BP-2144136712-127.0.0.1-1492526252533/current/finalized/subdir0/subdir0

[root@localhost subdir0]#

3、下载HDFS系统文件

hadoop fs -get hdfs://192.168.211.129:9000/jdk-7u80-linux-x64.rpm或hadoop fs -get /jdk-7u80-linux-x64.rpm

先用ll命令查看当前文件夹下不存在该文件，下载后再查看，该文件已被下载

[root@localhost ~]# ll total 4 -rw-r--r--. 1 root root  8252 4月  17 23:28 install.log.syslog

[root@localhost ~]# hadoop fs -get hdfs://192.168.211.129:9000/jdk-7u80-linux-x64.rpm

[root@localhost ~]# ll

总用量 134904

-rw-------. 1 root root 998 Sep 26 17:58 anaconda-ks.cfg

-rw-r--r--. 1 root root 138090286 4月  19 00:15 jdk-7u80-linux-x64.rpm

[root@localhost ~]#

4、使用mapreduce算法统计单词数量，一般是在Java程序中使用的，这次就直接在hadoop安装目录下mapreduce下的Java例子中实验

　　1）、首先切换到mapreduce路径下：cd /home/hadoop/hadoop-2.7.2/share/hadoop/mapreduce会看到 hadoop-mapreduce-examples-2.7.2.jar文件

　　2）、新建一个测试文件，并填写测试数据：vi test.data 里面随便写入英文单词如，Youth is not a time of life; it is a state of mind; it is not a matter of rosy cheeks, red lips and supple knees; it is a matter of the will, a quality of the imagination, a vigor of the emotions; it is the freshness of the deep springs of life.

保存后上传到HDFS系统中

　　3）、在HDFS系统中新建文件夹存放测试数据：

[root@localhost mapreduce]# hadoop fs -mkdir /test

[root@localhost mapreduce]# hadoop fs -mkdir /test/testdata

[root@localhost mapreduce]# hadoop fs -put test.data /test/testdata

[root@localhost mapreduce]# hadoop fs -ls /

Found 2 items

-rw-r--r-- 1 root supergroup 181310701 2017-04-19 15:35 /jdk-7u80-linux-x64.rpm

drwxr-xr-x - root supergroup 0 2017-04-19 15:35 /test

[root@localhost mapreduce]#

　　4）、执行单词统计操作，/test/output为输出路径

[root@localhost mapreduce]# hadoop jar hadoop-mapreduce-examples-2.7.2.jar wordcount /test/testdata /test/output

　　5）、查看输出结果

[root@localhost mapreduce]# hadoop fs -ls /test/output

Found 2 items

-rw-r--r-- 1 root supergroup 0 2017-04-19 15:35 /test/output/_SUCCESS

-rw-r--r-- 1 root supergroup 223 2017-04-19 15:35 /test/output/part-r-00000

[root@localhost mapreduce]# hadoop fs -cat /test/output/part-r-00000

Youth 1
a 6
and 1
cheeks, 1
deep 1
emotions; 1
freshness 1
imagination, 1
is 5
it 4
knees; 1
life. 1
life; 1
lips 1
matter 2
mind; 1
not 2
of 8
quality 1
red 1
rosy 1
springs 1
state 1
supple 1
the 5
time 1
vigor 1
will, 1