一、准备测试数据

1、在本地Linux系统/var/lib/Hadoop-hdfs/file/路径下准备两个文件file1.txt和file2.txt,文件列表及各自内容如下图所示:

2、在hdfs中,准备/input路径,并上传两个文件file1.txt和file2.txt,如下图所示:

二、编写代码,封装Jar包并上传至linux

将代码封装成TestMapReduce.jar,并上传至linux的/usr/local路径下,如下图所示:

三、运行命令

执行命令如下:hadoop jar /usr/local/TestMapReduce.jar com.jngreen.mapreduce.test.WordCount /input/file1.txt /input/file2.txt /output/output

命令执行过程截图如下:

四、查看运行结果

查看hdfs输出路径/output下的结果,如下图所示:

运行结果为Hello 4、Hadoop 1、Man 1、Boy 1、Word 1,完全正确!

五、WordCount展示

源码如下:

  1. import java.io.IOException;
  2. import java.util.StringTokenizer;
  3. import org.apache.hadoop.conf.Configuration;
  4. import org.apache.hadoop.fs.Path;
  5. import org.apache.hadoop.io.IntWritable;
  6. import org.apache.hadoop.io.Text;
  7. import org.apache.hadoop.mapreduce.Job;
  8. import org.apache.hadoop.mapreduce.Mapper;
  9. import org.apache.hadoop.mapreduce.Reducer;
  10. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
  11. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
  12. public class WordCount {
  13. // TokenizerMapper作为Map阶段,需要继承Mapper,并重写map()函数
  14. public static class TokenizerMapper
  15. extends Mapper<Object, Text, Text, IntWritable>{
  16. private final static IntWritable one = new IntWritable(1);
  17. private Text word = new Text();
  18. public void map(Object key, Text value, Context context
  19. ) throws IOException, InterruptedException {
  20. // 用StringTokenizer作为分词器,对value进行分词
  21. StringTokenizer itr = new StringTokenizer(value.toString());
  22. // 遍历分词后结果
  23. while (itr.hasMoreTokens()) {
  24. // 将String设置入Text类型word
  25. word.set(itr.nextToken());
  26. // 将(word,1),即(Text,IntWritable)写入上下文context,供后续Reduce阶段使用
  27. context.write(word, one);
  28. }
  29. }
  30. }
  31. // IntSumReducer作为Reduce阶段,需要继承Reducer,并重写reduce()函数
  32. public static class IntSumReducer
  33. extends Reducer<Text,IntWritable,Text,IntWritable> {
  34. private IntWritable result = new IntWritable();
  35. public void reduce(Text key, Iterable<IntWritable> values,
  36. Context context
  37. ) throws IOException, InterruptedException {
  38. int sum = 0;
  39. // 遍历map阶段输出结果中的values中每个val,累加至sum
  40. for (IntWritable val : values) {
  41. sum += val.get();
  42. }
  43. // 将sum设置入IntWritable类型result
  44. result.set(sum);
  45. // 通过上下文context的write()方法,输出结果(key, result),即(Text,IntWritable)
  46. context.write(key, result);
  47. }
  48. }
  49. public static void main(String[] args) throws Exception {
  50. // 加载hadoop配置
  51. Configuration conf = new Configuration();
  52. // 校验命令行输入参数
  53. if (args.length < 2) {
  54. System.err.println("Usage: wordcount <in> [<in>...] <out>");
  55. System.exit(2);
  56. }
  57. // 构造一个Job实例job,并命名为"word count"
  58. Job job = new Job(conf, "word count");
  59. // 设置jar
  60. job.setJarByClass(WordCount.class);
  61. // 设置Mapper
  62. job.setMapperClass(TokenizerMapper.class);
  63. // 设置Combiner
  64. job.setCombinerClass(IntSumReducer.class);
  65. // 设置Reducer
  66. job.setReducerClass(IntSumReducer.class);
  67. // 设置OutputKey
  68. job.setOutputKeyClass(Text.class);
  69. // 设置OutputValue
  70. job.setOutputValueClass(IntWritable.class);
  71. // 添加输入路径
  72. for (int i = 0; i < args.length - 1; ++i) {
  73. FileInputFormat.addInputPath(job, new Path(args[i]));
  74. }
  75. // 添加输出路径
  76. FileOutputFormat.setOutputPath(job,
  77. new Path(args[args.length - 1]));
  78. // 等待作业job运行完成并退出
  79. System.exit(job.waitForCompletion(true) ? 0 : 1);
  80. }
  81. }

Hadoop2.6.0版本MapReudce示例之WordCount(一)的更多相关文章

  1. Hadoop2.6.0版本MapReudce示例之WordCount(二)

    继<Hadoop2.6.0版本MapReudce示例之WordCount(一)>之后,我们继续看MapReduce的WordCount示例,看看如何监控作业运行或查看历史记录,以及作业运行 ...

  2. Hadoop2.2.0 第一步完成MapReduce wordcount计算文本数量

    1.完成Hadoop2.2.0单机版环境搭建之后需要利用一个例子程序来检验hadoop2 的mapreduce的功能 //启动hdfs和yarn sbin/start-dfs.sh sbin/star ...

  3. SkylineGlobe TerraExplorer for Web 7.1.0版本 接口示例

    在SkylineGlobe TerraExplorer for Web 7.1.0版本(俗称H5免插件版本)中,如何使用SGWorld接口的三维视域分析方法呢? 请参考下面的示例: 通过下面的代码大家 ...

  4. Hadoop2.6.0版本号MapReudce演示样例之WordCount(一)

    一.准备測试数据 1.在本地Linux系统/var/lib/hadoop-hdfs/file/路径下准备两个文件file1.txt和file2.txt,文件列表及各自内容例如以下图所看到的: wate ...

  5. Hadoop概念学习系列之关于hadoop-2.2.0和hadoop2.6.0的winutils.exe、hadoop.dll版本混用(易出错)(四十三)

    问题详情是 2016-12-10 23:24:13,317 INFO [org.apache.hadoop.metrics.jvm.JvmMetrics] - Initializing JVM Met ...

  6. 基于hadoop2.6.0搭建5个节点的分布式集群

    1.前言 我们使用hadoop2.6.0版本配置Hadoop集群,同时配置NameNode+HA.ResourceManager+HA,并使用zookeeper来管理Hadoop集群 2.规划 1.主 ...

  7. Hadoop-2.8.0分布式安装手册

    目录 目录 1 1. 前言 3 2. 特性介绍 3 3. 部署 5 3.1. 机器列表 5 3.2. 主机名 5 3.2.1. 临时修改主机名 6 3.2.2. 永久修改主机名 6 3.3. 免密码登 ...

  8. Hadoop-2.4.0分布式安装手册

    目录 目录 1 1. 前言 2 2. 部署 2 2.1. 机器列表 2 2.2. 主机名 2 2.2.1. 临时修改主机名 3 2.2.2. 永久修改主机名 3 2.3. 免密码登录范围 4 3. 约 ...

  9. 搭建Hadoop2.6.0+Spark1.1.0集群环境

    前几篇文章主要介绍了单机模式的hadoop和spark的安装和配置,方便开发和调试.本文主要介绍,真正集群环境下hadoop和spark的安装和使用. 1. 环境准备 集群有三台机器: master: ...

随机推荐

  1. StringBuffer 清空

    几种方法: 方法1: 1 2 3 4 StringBuffer my_StringBuffer = new StringBuffer(); my_StringBuffer.append('hellow ...

  2. 【hibernate/JPA】对实体类的的多个字段建立唯一索引,达到复合主键的效果【spring boot】注解创建唯一索引和普通索引

    对实体类的的多个字段建立唯一索引,达到复合主键的效果 package com.sxd.swapping.domain; import lombok.Getter; import lombok.Sett ...

  3. iOS:新浪微博OAuth认证

    新浪微博OAuth认证   1.资源的授权 •在互联网行业,比如腾讯.新浪,那用户人群是非常巨大的 •有时候要把某些用户资源共享出去,比如第三方想访问用户的QQ数据.第三方想访问用户的新浪微博数据 • ...

  4. ElasticSearch 集群健康

    1.介绍 一个 Elasticsearch 集群至少包括一个节点和一个索引.或者它 可能有一百个数据节点.三个单独的主节点,以及一小打客户端节点——这些共同操作一千个索引(以及上万个分片). 不管集群 ...

  5. 使用FREDATED引擎实现跨实例訪问

    跨数据库server.跨实例訪问是比較常见的一种訪问方式,在Oracle中能够通过DB LINK的方式来实现. 对于MySQL而言,有一个FEDERATED存储引擎与之相相应.相同也是通过创建一个链接 ...

  6. Ubuntu下安装配置和卸载Tomcat

    转载自:http://zyjustin9.iteye.com/blog/2177291 注:此处不采用apt-get安装,因为这种方式安装后,tomcat安装目录会到处都是,像天女散花一样.此处采取下 ...

  7. zabbix监控sockets连接数

    配置zabbix客户端配置文件 vim /etc/zabbix/zabbix_agentd.conf 添加  Include=/etc/zabbix/zabbix_agentd.d/ 添加脚本对soc ...

  8. Linux如何查看进程、杀死进程、查看端口等常用命令

    查看进程号 1.ps 命令用于查看当前正在运行的进程.grep 是搜索 例如: ps -ef | grep java表示查看所有进程里 CMD 是 java 的进程信息2.ps -aux | grep ...

  9. java代理ip有效检测

    java实现代理ip有效检测,依赖Apache的HttpClient   正式版:       /**        * 批量代理IP有效检测        *        * @param pro ...

  10. LinkedHashMap的实现讲解

    http://www.cnblogs.com/hubingxu/archive/2012/02/21/2361281.html LinkedHashMap 是HashMap的一个子类,保存了记录的插入 ...