Hadoop2.6.0版本MapReudce示例之WordCount(一)
一、准备测试数据
1、在本地Linux系统/var/lib/Hadoop-hdfs/file/路径下准备两个文件file1.txt和file2.txt,文件列表及各自内容如下图所示:
2、在hdfs中,准备/input路径,并上传两个文件file1.txt和file2.txt,如下图所示:
二、编写代码,封装Jar包并上传至linux
将代码封装成TestMapReduce.jar,并上传至linux的/usr/local路径下,如下图所示:
三、运行命令
执行命令如下:hadoop jar /usr/local/TestMapReduce.jar com.jngreen.mapreduce.test.WordCount /input/file1.txt /input/file2.txt /output/output
命令执行过程截图如下:
四、查看运行结果
查看hdfs输出路径/output下的结果,如下图所示:
运行结果为Hello 4、Hadoop 1、Man 1、Boy 1、Word 1,完全正确!
五、WordCount展示
源码如下:
- import java.io.IOException;
- import java.util.StringTokenizer;
- import org.apache.hadoop.conf.Configuration;
- import org.apache.hadoop.fs.Path;
- import org.apache.hadoop.io.IntWritable;
- import org.apache.hadoop.io.Text;
- import org.apache.hadoop.mapreduce.Job;
- import org.apache.hadoop.mapreduce.Mapper;
- import org.apache.hadoop.mapreduce.Reducer;
- import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
- import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
- public class WordCount {
- // TokenizerMapper作为Map阶段,需要继承Mapper,并重写map()函数
- public static class TokenizerMapper
- extends Mapper<Object, Text, Text, IntWritable>{
- private final static IntWritable one = new IntWritable(1);
- private Text word = new Text();
- public void map(Object key, Text value, Context context
- ) throws IOException, InterruptedException {
- // 用StringTokenizer作为分词器,对value进行分词
- StringTokenizer itr = new StringTokenizer(value.toString());
- // 遍历分词后结果
- while (itr.hasMoreTokens()) {
- // 将String设置入Text类型word
- word.set(itr.nextToken());
- // 将(word,1),即(Text,IntWritable)写入上下文context,供后续Reduce阶段使用
- context.write(word, one);
- }
- }
- }
- // IntSumReducer作为Reduce阶段,需要继承Reducer,并重写reduce()函数
- public static class IntSumReducer
- extends Reducer<Text,IntWritable,Text,IntWritable> {
- private IntWritable result = new IntWritable();
- public void reduce(Text key, Iterable<IntWritable> values,
- Context context
- ) throws IOException, InterruptedException {
- int sum = 0;
- // 遍历map阶段输出结果中的values中每个val,累加至sum
- for (IntWritable val : values) {
- sum += val.get();
- }
- // 将sum设置入IntWritable类型result
- result.set(sum);
- // 通过上下文context的write()方法,输出结果(key, result),即(Text,IntWritable)
- context.write(key, result);
- }
- }
- public static void main(String[] args) throws Exception {
- // 加载hadoop配置
- Configuration conf = new Configuration();
- // 校验命令行输入参数
- if (args.length < 2) {
- System.err.println("Usage: wordcount <in> [<in>...] <out>");
- System.exit(2);
- }
- // 构造一个Job实例job,并命名为"word count"
- Job job = new Job(conf, "word count");
- // 设置jar
- job.setJarByClass(WordCount.class);
- // 设置Mapper
- job.setMapperClass(TokenizerMapper.class);
- // 设置Combiner
- job.setCombinerClass(IntSumReducer.class);
- // 设置Reducer
- job.setReducerClass(IntSumReducer.class);
- // 设置OutputKey
- job.setOutputKeyClass(Text.class);
- // 设置OutputValue
- job.setOutputValueClass(IntWritable.class);
- // 添加输入路径
- for (int i = 0; i < args.length - 1; ++i) {
- FileInputFormat.addInputPath(job, new Path(args[i]));
- }
- // 添加输出路径
- FileOutputFormat.setOutputPath(job,
- new Path(args[args.length - 1]));
- // 等待作业job运行完成并退出
- System.exit(job.waitForCompletion(true) ? 0 : 1);
- }
- }
Hadoop2.6.0版本MapReudce示例之WordCount(一)的更多相关文章
- Hadoop2.6.0版本MapReudce示例之WordCount(二)
继<Hadoop2.6.0版本MapReudce示例之WordCount(一)>之后,我们继续看MapReduce的WordCount示例,看看如何监控作业运行或查看历史记录,以及作业运行 ...
- Hadoop2.2.0 第一步完成MapReduce wordcount计算文本数量
1.完成Hadoop2.2.0单机版环境搭建之后需要利用一个例子程序来检验hadoop2 的mapreduce的功能 //启动hdfs和yarn sbin/start-dfs.sh sbin/star ...
- SkylineGlobe TerraExplorer for Web 7.1.0版本 接口示例
在SkylineGlobe TerraExplorer for Web 7.1.0版本(俗称H5免插件版本)中,如何使用SGWorld接口的三维视域分析方法呢? 请参考下面的示例: 通过下面的代码大家 ...
- Hadoop2.6.0版本号MapReudce演示样例之WordCount(一)
一.准备測试数据 1.在本地Linux系统/var/lib/hadoop-hdfs/file/路径下准备两个文件file1.txt和file2.txt,文件列表及各自内容例如以下图所看到的: wate ...
- Hadoop概念学习系列之关于hadoop-2.2.0和hadoop2.6.0的winutils.exe、hadoop.dll版本混用(易出错)(四十三)
问题详情是 2016-12-10 23:24:13,317 INFO [org.apache.hadoop.metrics.jvm.JvmMetrics] - Initializing JVM Met ...
- 基于hadoop2.6.0搭建5个节点的分布式集群
1.前言 我们使用hadoop2.6.0版本配置Hadoop集群,同时配置NameNode+HA.ResourceManager+HA,并使用zookeeper来管理Hadoop集群 2.规划 1.主 ...
- Hadoop-2.8.0分布式安装手册
目录 目录 1 1. 前言 3 2. 特性介绍 3 3. 部署 5 3.1. 机器列表 5 3.2. 主机名 5 3.2.1. 临时修改主机名 6 3.2.2. 永久修改主机名 6 3.3. 免密码登 ...
- Hadoop-2.4.0分布式安装手册
目录 目录 1 1. 前言 2 2. 部署 2 2.1. 机器列表 2 2.2. 主机名 2 2.2.1. 临时修改主机名 3 2.2.2. 永久修改主机名 3 2.3. 免密码登录范围 4 3. 约 ...
- 搭建Hadoop2.6.0+Spark1.1.0集群环境
前几篇文章主要介绍了单机模式的hadoop和spark的安装和配置,方便开发和调试.本文主要介绍,真正集群环境下hadoop和spark的安装和使用. 1. 环境准备 集群有三台机器: master: ...
随机推荐
- StringBuffer 清空
几种方法: 方法1: 1 2 3 4 StringBuffer my_StringBuffer = new StringBuffer(); my_StringBuffer.append('hellow ...
- 【hibernate/JPA】对实体类的的多个字段建立唯一索引,达到复合主键的效果【spring boot】注解创建唯一索引和普通索引
对实体类的的多个字段建立唯一索引,达到复合主键的效果 package com.sxd.swapping.domain; import lombok.Getter; import lombok.Sett ...
- iOS:新浪微博OAuth认证
新浪微博OAuth认证 1.资源的授权 •在互联网行业,比如腾讯.新浪,那用户人群是非常巨大的 •有时候要把某些用户资源共享出去,比如第三方想访问用户的QQ数据.第三方想访问用户的新浪微博数据 • ...
- ElasticSearch 集群健康
1.介绍 一个 Elasticsearch 集群至少包括一个节点和一个索引.或者它 可能有一百个数据节点.三个单独的主节点,以及一小打客户端节点——这些共同操作一千个索引(以及上万个分片). 不管集群 ...
- 使用FREDATED引擎实现跨实例訪问
跨数据库server.跨实例訪问是比較常见的一种訪问方式,在Oracle中能够通过DB LINK的方式来实现. 对于MySQL而言,有一个FEDERATED存储引擎与之相相应.相同也是通过创建一个链接 ...
- Ubuntu下安装配置和卸载Tomcat
转载自:http://zyjustin9.iteye.com/blog/2177291 注:此处不采用apt-get安装,因为这种方式安装后,tomcat安装目录会到处都是,像天女散花一样.此处采取下 ...
- zabbix监控sockets连接数
配置zabbix客户端配置文件 vim /etc/zabbix/zabbix_agentd.conf 添加 Include=/etc/zabbix/zabbix_agentd.d/ 添加脚本对soc ...
- Linux如何查看进程、杀死进程、查看端口等常用命令
查看进程号 1.ps 命令用于查看当前正在运行的进程.grep 是搜索 例如: ps -ef | grep java表示查看所有进程里 CMD 是 java 的进程信息2.ps -aux | grep ...
- java代理ip有效检测
java实现代理ip有效检测,依赖Apache的HttpClient 正式版: /** * 批量代理IP有效检测 * * @param pro ...
- LinkedHashMap的实现讲解
http://www.cnblogs.com/hubingxu/archive/2012/02/21/2361281.html LinkedHashMap 是HashMap的一个子类,保存了记录的插入 ...