实训任务02：Hadoop基础操作

实训任务02：Hadoop基础操作

班级            学号               姓名

实训1:创建测试文件上传HDFS,并显示内容

需求说明：

在本地计算机上创建测试文件helloHadoop.txt,输入任意3行记录。将helloHadoop.txt上传到HDFS目录/user/root/filetest/下，并以HDFS命令显示 它的内容（提示：HDFS目录/user/root/filetest并不存在，因此需要先创建它。

实现思路及步骤：

(1)     用vi编辑器编写helloHadoop.txt文件。

(2)     启动hdfs

(3)     用hdfs dfs –put 命令上传文件到HDFS。

操作步骤如下（请截图）

实训2 统计文件中所有单词的平均长度

需求说明：

在集群服务器master的本地目录上有日志文件root/install.log,要求对文件中的单词进行统计，求单词的平均长度。

实现思路及步骤：

（1）       上传/root/install.log到HDFS目录/user/root/

（2）       使用Hadoop官方的示例程序包hadoop-mapreduce-eamples-2.6.4.jar,以hadoop.jar命令提交MapReduce任务。参考代码如下：

Hadoop jar \

$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6..jar \

Wordmean \

/user/root/install.log \

/user/root/wordmean

（3）       查看输出结果。

运行结果如下：（请截图）

 

 

实训3 查询与中断MapReduce任务

需求说明：

使用Web浏览器查看在实训2中执行过的MapReduce任务。依次提交3个统计单词和度的MapReduce任务，查看当前集群的计算资源使用情况，以及任务列表信息。中断第2个任务，观察后续任务的执行情况。

实现思路及步骤：

（1）       在web浏览器中输入http://master:8088/cluster/apps打开MapReduce任务列表界面。

（2）       单击列表中实训2中提交的任务链接，查询执行时间与完成状态。

（3）       在集群服务器终端，分别提交3个统计单词长度的MapReduce任务，具体执任命令参考实训2代码。注意，输出目录必须重新指定，并且3个任务参应的输出目录是不同的。

（4）       在Web浏览器中输入http://master:8088/cluster/nodes,查看当前集群及各节点的资湖使用情况。

（5）       在任务列表界面上，单击任务2并中断它。

各步骤运行结果如下：(请截图)

实验结果分析与总结

（注：必须写，这里填写你的实验达到的预期效果，是否按时完成，遇到哪些问题？如何解决的？还需要学习和提高的地方？下一步的计划和打算？）