MapRedue开发实例

一些例子，所用版本为hadoop 2.6.5

1、统计字数

数据格式如下（单词，频数，以tab分开）：

 package com.mr.test;

 import java.io.IOException;

 import org.apache.hadoop.conf.Configuration;

 import org.apache.hadoop.fs.Path;

 import org.apache.hadoop.io.IntWritable;

 import org.apache.hadoop.io.Text;

 import org.apache.hadoop.mapreduce.Job;

 import org.apache.hadoop.mapreduce.Mapper;

 import org.apache.hadoop.mapreduce.Reducer;

 import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

 import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

 public class MRTest {

     public static class C01Mapper extends Mapper<Object, Text, Text, IntWritable> {

         @Override

         public void map(Object key, Text value, Context context) throws IOException, InterruptedException {

             String[] line = value.toString().split("\t");

             if(line.length == 2) {

                 context.write(new Text(line[0]),new IntWritable(Integer.parseInt(line[1])));

             }

         }

     }

     public static class C01Reducer extends Reducer<Text, IntWritable, Text, IntWritable> {

         @Override

         public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {

             int i =0;

             for(IntWritable value : values){

                 i += value.get();

             }

             context.write(key, new IntWritable(i));

         }

     }    

     public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {

         //参数含义： agrs[0]标识 in, agrs[1]标识 out,agrs[2]标识 unitmb,agrs[3]标识 reducer number,

         int unitmb =Integer.valueOf(args[2]);

         String in = args[0];

         String out = args[1];

         int nreducer = Integer.valueOf(args[3]);

         Configuration conf = new Configuration();

         conf.set("mapreduce.input.fileinputformat.split.maxsize", String.valueOf(unitmb * 1024 * 1024));

         conf.set("mapred.min.split.size", String.valueOf(unitmb * 1024 * 1024));

         conf.set("mapreduce.input.fileinputformat.split.minsize.per.node", String.valueOf(unitmb * 1024 * 1024));

         conf.set("mapreduce.input.fileinputformat.split.minsize.per.rack", String.valueOf(unitmb * 1024 * 1024));

         Job job = new Job(conf);

         FileInputFormat.addInputPath(job, new Path(in));

         FileOutputFormat.setOutputPath(job, new Path(out));

         job.setMapperClass(C01Mapper.class);

         job.setReducerClass(C01Reducer.class);

         job.setNumReduceTasks(nreducer);

         job.setCombinerClass(C01Reducer.class);

         job.setMapOutputKeyClass(Text.class);

         job.setMapOutputValueClass(IntWritable.class);

         job.setOutputKeyClass(Text.class);

         job.setOutputValueClass(IntWritable.class);

         job.setJarByClass(MRTest.class);

         job.waitForCompletion(true);

     }

 }

2、统计用户在网站的停留时间

数据格式（用户，毫秒数，网站，以tab分开）：

A	100	baidu.com

B	900	google.com

C	515	sohu.com

D	618	sina.com

E	791	google.com

B	121	baidu.com

C	915	google.com

D	112	sohu.com

E	628	sina.com

A	681	google.com

C	121	baidu.com

D	215	google.com

E	812	sohu.com

A	128	sina.com

B	291	google.com

 package com.mr.test;

 import java.io.IOException;

 import org.apache.hadoop.conf.Configuration;

 import org.apache.hadoop.fs.Path;

 import org.apache.hadoop.io.IntWritable;

 import org.apache.hadoop.io.Text;

 import org.apache.hadoop.io.WritableComparable;

 import org.apache.hadoop.io.WritableComparator;

 import org.apache.hadoop.mapreduce.Job;

 import org.apache.hadoop.mapreduce.Mapper;

 import org.apache.hadoop.mapreduce.Partitioner;

 import org.apache.hadoop.mapreduce.Reducer;

 import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

 import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

 public class MRWeb {

     public static class C02Mapper extends Mapper<Object, Text, Text, Text> {

         @Override

         public void map(Object key, Text value, Context context) throws IOException, InterruptedException{

             String line[] = value.toString().split("\t");

             //格式检查

             if(line.length == 3){

                 String name = line[0];

                 String time = line[1];

                 String website = line[2];

                 context.write(new Text(name + "\t" + time), new Text(time + "\t" + website));

             }

         }

     }    

     public static class C02Partitioner extends Partitioner<Text, Text> {

         @Override

         public int getPartition(Text key, Text value, int number) {

             String name = key.toString().split("\t")[0];

             int hash =name.hashCode();

             //以此实现分区

             return Math.abs(hash % number);

         }

     }

     public static class C02Sort extends WritableComparator {

         //必须有的

         protected C02Sort() {

             super(Text.class,true);

         }

         @Override

         public int compare(WritableComparable w1, WritableComparable w2) {

             Text h1 = new Text(((Text)w1).toString().split("\t")[0] );

             Text h2 = new Text(((Text)w2).toString().split("\t")[0] );

             IntWritable m1 =new IntWritable(Integer.valueOf(((Text)w1).toString().split("\t")[1]));

             IntWritable m2 =new IntWritable(Integer.valueOf(((Text)w2).toString().split("\t")[1]));

             int result;

             if(h1.equals(h2)){

                 result = m2.compareTo(m1);

             }else {

                 result =h1.compareTo(h2);

             }

             return result;

         }

     }

     public  static class C02Group extends WritableComparator{

         protected C02Group() {

             super(Text.class,true);

         }

         @Override

         public int compare(WritableComparable w1, WritableComparable w2) {

             Text h1 = new Text(((Text)w1).toString().split("\t")[0] );

             Text h2 = new Text(((Text)w2).toString().split("\t")[0] );

             return h1.compareTo(h2);

         }

     }

     public static class C02Reducer extends Reducer<Text, Text, IntWritable, Text> {

         @Override

         protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {

             int count = 0;

             String name =key.toString().split("\t")[0];

             //分组排序已经做好了，这里只管打印

             for(Text value : values){

                 count++;

                 StringBuffer buffer = new StringBuffer();

                 buffer.append(name);

                 buffer.append("\t");

                 buffer.append(value.toString());

                 context.write(new IntWritable(count), new Text(buffer.toString()));

             }

         }

     }

     public static void main(String[] args) throws IllegalArgumentException, IOException, ClassNotFoundException, InterruptedException {

         //参数含义： agrs[0]标识 in, agrs[1]标识 out,agrs[2]标识 unitmb,agrs[3]标识 reducer number,

         if(args.length != 4){

             System.out.println("error");

             System.exit(0);

         }

         int unitmb =Integer.valueOf(args[2]);

         String in = args[0];

         String out = args[1];

         int nreducer = Integer.valueOf(args[3]);

         Configuration conf = new Configuration();

         conf.set("mapreduce.input.fileinputformat.split.maxsize", String.valueOf(unitmb * 1024 * 1024));

         conf.set("mapred.min.split.size", String.valueOf(unitmb * 1024 * 1024));

         conf.set("mapreduce.input.fileinputformat.split.minsize.per.node", String.valueOf(unitmb * 1024 * 1024));

         conf.set("mapreduce.input.fileinputformat.split.minsize.per.rack", String.valueOf(unitmb * 1024 * 1024));

         Job job = new Job(conf);

         FileInputFormat.addInputPath(job, new Path(in));

         FileOutputFormat.setOutputPath(job, new Path(out));

         job.setMapperClass(C02Mapper.class);

         job.setReducerClass(C02Reducer.class);

         job.setNumReduceTasks(nreducer);

         job.setPartitionerClass(C02Partitioner.class);

         job.setGroupingComparatorClass(C02Group.class);

         job.setSortComparatorClass(C02Sort.class);

         job.setMapOutputKeyClass(Text.class);

         job.setMapOutputValueClass(Text.class);

         job.setOutputKeyClass(IntWritable.class);

         job.setOutputValueClass(Text.class);

         job.setJarByClass(MRWeb.class);

         job.waitForCompletion(true);

     }

 }

运行：hadoop jar ~/c02mrtest.jar com.mr.test.MRWeb TestData/webcount.txt /DataWorld/webresult 128 1

结果的样子：

3、json数组分析

数据格式（前面以tab分开）：

1	[{"name":"A","age":16,"maths":100}]

2	[{"name":"B","age":17,"maths":97}]

3	[{"name":"C","age":18,"maths":89}]

4	[{"name":"D","age":15,"maths":98}]

5	[{"name":"E","age":19,"maths":100}]

 package com.mr.test;

 import java.io.IOException;

 import org.apache.hadoop.conf.Configuration;

 import org.apache.hadoop.fs.Path;

 import org.apache.hadoop.io.Text;

 import org.apache.hadoop.mapreduce.Job;

 import org.apache.hadoop.mapreduce.Mapper;

 import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

 import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

 import net.sf.json.JSONArray;

 import net.sf.json.JSONObject;

 public class MRString {

     public static class C03Mapper extends Mapper<Object, Text, Text, Text> {

         @Override

         protected void map(Object key, Text value, Mapper<Object, Text, Text, Text>.Context context)

                 throws IOException, InterruptedException {

             String[] line = value.toString().split("\t");

             if(line.length ==2){

                 String c = line[0];

                 String j = line[1];

                 JSONArray jsonArray =JSONArray.fromObject(j);

                 int size = jsonArray.size();

                 for(int i=0;i<size;i++){

                     String name = "";

                     String age = "";

                     String maths = "";

                     JSONObject jsonObject =jsonArray.getJSONObject(i);

                     if(jsonObject.containsKey("name")){

                         name = jsonObject.getString("name");

                     }

                     if(jsonObject.containsKey("age")){

                         age = jsonObject.getString("age");

                     }

                     if(jsonObject.containsKey("maths")){

                         maths = jsonObject.getString("maths");

                     }

                     StringBuffer buffer =new StringBuffer();

                     buffer.append(name);

                     buffer.append("\t");

                     buffer.append(age);

                     buffer.append("\t");

                     buffer.append(maths);

                     context.write(new Text(c), new Text(buffer.toString()));

                 }

             }

         }

     }

     public static void main(String[] args) throws IllegalArgumentException, IOException, ClassNotFoundException, InterruptedException {

         //参数含义： agrs[0]标识 in, agrs[1]标识 out,agrs[2]标识 unitmb,agrs[3]

         if(args.length != 3){

             System.out.println("error");

             System.exit(0);

         }

         int unitmb =Integer.valueOf(args[2]);

         String in = args[0];

         String out = args[1];

         Configuration conf = new Configuration();

         conf.set("mapreduce.input.fileinputformat.split.maxsize", String.valueOf(unitmb * 1024 * 1024));

         conf.set("mapred.min.split.size", String.valueOf(unitmb * 1024 * 1024));

         conf.set("mapreduce.input.fileinputformat.split.minsize.per.node", String.valueOf(unitmb * 1024 * 1024));

         conf.set("mapreduce.input.fileinputformat.split.minsize.per.rack", String.valueOf(unitmb * 1024 * 1024));

         Job job = new Job(conf);

         job.addFileToClassPath(new Path("TestData/json-lib-2.4-jdk15.jar"));

         job.addFileToClassPath(new Path("TestData/ezmorph-1.0.6.jar"));

         FileInputFormat.addInputPath(job, new Path(in));

         FileOutputFormat.setOutputPath(job, new Path(out));

         job.setMapperClass(C03Mapper.class);

         //没有reducer的情况下必须设置

         job.setNumReduceTasks(0);

         job.setMapOutputKeyClass(Text.class);

         job.setMapOutputValueClass(Text.class);

         job.setOutputKeyClass(Text.class);

         job.setOutputValueClass(Text.class);

         job.setJarByClass(MRString.class);

         job.waitForCompletion(true);

     }

 }

运行 hadoop jar ~/c03mrtest.jar com.mr.test.MRString TestData/jsonarray.txt /DataWorld/jsonoutput 128

结果：

这个例子还有一点值得注意（Path中的目录是HDFS中的目录）：

job.addFileToClassPath(new Path("TestData/json-lib-2.4-jdk15.jar")); //jar文件下载地址：http://json-lib.sourceforge.net/

job.addFileToClassPath(new Path("TestData/ezmorph-1.0.6.jar")); //jar文件下载地址：http://ezmorph.sourceforge.net/
使用这两句，在程序中动态添加了用于json解析的jar文件，而利用服务器中的ClassPath是访问不到这两个文件的。在编程的时候，在windows客户端下，为了语法书写方便，导入了json-lib-2.4-jdk15.jar，但是并没有导入ezmorph-1.0.6.jar 。

也就是说，可以在程序中动态的加入jar文件，只要知道了它在HDFS中的位置。

MapRedue开发实例的更多相关文章

ecshop二次开发给商品添加自定义字段【包含我自己进一步的开发实例详解】
本文包含商品自定义添加教程及进一步的开发实例: 教程: 说起自定义字段,我想很多的朋友像我一样会想起一些开源的CMS(比如Dedecms.Phpcms.帝国)等,他们是可以在后台直接添加自定义字段的. ...
RDIFramework.NET -.NET快速信息化系统开发整合框架【开发实例 EasyUI】之产品管理（WebForm版）
RDIFramework.NET—.NET快速开发整合框架 [开发实例]之产品管理(WebForm版) 接上篇:RDIFramework.NET (.NET快速信息化系统开发整合框架) [开发实例]之 ...
RDIFramework.NET-.NET快速信息化系统开发整合框架【开发实例 EasyUI】之产品管理（MVC版）
RDIFramework.NET—.NET快速开发整合框架 [开发实例]之产品管理(MVC版) 接上篇:RDIFramework.NET (.NET快速信息化系统开发整合框架) [开发实例]之产品管理 ...
Cocos2d-x 3.X手游开发实例详解
Cocos2d-x 3.X手游开发实例详解(最新最简Cocos2d-x手机游戏开发学习方法,以热门游戏2048.卡牌为例,完整再现手游的开发过程,实例丰富,代码完备,Cocos2d-x作者之一林顺和泰 ...
免费的HTML5连载来了《HTML5网页开发实例详解》连载（二）
最近新浪.百度.腾讯.京东.大众点评.淘宝等流行的网站都加大了招聘HTML5的力度,HTML5开发人员成了抢手货,本次连载的是由大众点评前端工程师和一淘网前端工程师基情奉献的<HTML5网页开发 ...
RDIFramework.NET开发实例━表约束条件权限的使用-Web
RDIFramework.NET开发实例━表约束条件权限的使用-Web 在上一篇文章“RDIFramework.NET开发实例━表约束条件权限的使用-WinForm”我们讲解了在WinForm下表约束 ...
RDIFramework.NET开发实例━表约束条件权限的使用-WinForm
RDIFramework.NET开发实例━表约束条件权限的使用-WinForm 在实际的应用中,客户常有这样的需求,指定用户或角色可以看指定条件下的数据,这里的“指定条件”在RDIFramework. ...
RDIFramework.NET V2.8版本 ━ 开发实例之产品管理（WinForm）
RDIFramework.NET V2.8版本 ━ 开发实例之产品管理(WinForm) 现在,我们使用.NET快速开发整合框架(RDIFramework.NET)来开发一个应用,此应用皆在说明如何使 ...
Android音乐播放器的开发实例
本文将引导大家做一个音乐播放器,在做这个Android开发实例的过程中,能够帮助大家进一步熟悉和掌握学过的ListView和其他一些组件.为了有更好的学习效果,其中很多功能我们手动实现,例如音乐播放的 ...

随机推荐

react入门（5）
对前面四篇内容进行简单的回顾: react入门(1):jsx,组件,css写法 react入门(2):事件,this.props.children,props,...other,map循环 react ...
iOS 视图控制器（内容根据iOS编程编写）
视图控制器是 UIViewController 类或其子类对象.每个视图控制器都负责管理一个视图层次结构,包括创建视图层级结构中的视图并处理相关用户事件,以及将整个视图层次结构添加到应用窗口. 创建 ...
Model验证功能
占位符 {0}对应属性 {1}对应minimum {2}对应maximum [StringLength(15, MinimumLength = 6, ErrorMessage = " ...
ASP.NET MVC 解析模板生成静态页一（RazorEngine）
简述 Razor是ASP.NET MVC 3中新加入的技术,以作为ASPX引擎的一个新的替代项.在早期的MVC版本中默认使用的是ASPX模板引擎,Razor在语法上的确不错,用起来非常方便,简洁的语法 ...
B/S工作原理
B/S疑问先对比C/S,在C/S中我们开发时怎么做的,是不是这样:拖控件,写方法,所有的功能基本就是这样,就像我们的机房收费系统,C/S学习完之后,我们开始B/S学习,这里我们接触的是ASP.NET ...
python之网络编程
本地的进程间通信(IPC)有很多种方式,但可以总结为下面4类: 消息传递(管道.FIFO.消息队列) 同步(互斥量.条件变量.读写锁.文件和写记录锁.信号量) 共享内存(匿名的和具名的) 远程过程调用 ...
3、ASP.NET MVC入门到精通——Entity Framework增删改查
这里我接上讲Entity Framework入门.从网上下载Northwind数据库,新建一个控制台程序,然后重新添加一个ado.net实体数据模型. EF中操作数据库的"网关"( ...
学习.NET是因为热爱 or 兴趣 or 挣钱？
看到最近园子里掀起了“.NET快不行了”.“.NET工资太低了”.“转行做XX”等一系列之风,不由得想说点什么,我只是基于自己的观点,你认同或者不认同,我就是这样认为,无所谓对与错,写文章就是为了交流 ...
tomcat 自定义classpath（亲自测试）
因为一直以来使用tomcat和weblogic作为应用服务器为主,最近在升级新中间件的过程中遇到一个问题,我们的web前端应用现在升级是进行全量包升级的,因为现在的系统架构为前端和后端通过rpc框架交 ...
Ajax调用处理页面错误信息500的解决思路
最近在做项目的时候遇到一个问题:(李昌辉) 在本地服务器上做好之后,部署到阿里云虚拟主机,结果访问页面出现问题,由于登录使用的是AJAX调用处理页面,所以在点击登录的时候没有任何反应. 打开F12调试 ...

MapRedue开发实例

MapRedue开发实例的更多相关文章

随机推荐

热门专题