mapreduce的使用

以下案例写之前需要导入jar包依赖：

  1.   <dependencies>
  2.       <dependency>
  3.               <groupId>org.apache.hadoop</groupId>
  4.               <artifactId>hadoop-client</artifactId>
  5.               <version>2.6.0</version>
  6.       </dependency>
  7.   </dependencies>

1.单词计数案例：

  1. package com.xyz;
  3. import org.apache.hadoop.conf.Configuration;
  4. import org.apache.hadoop.fs.Path;
  5. import org.apache.hadoop.io.IntWritable;
  6. import org.apache.hadoop.io.LongWritable;
  7. import org.apache.hadoop.io.Text;
  8. import org.apache.hadoop.mapreduce.Job;
  9. import org.apache.hadoop.mapreduce.Mapper;
  10. import org.apache.hadoop.mapreduce.Reducer;
  11. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
  12. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
  14. import java.io.IOException;
  16. /**
  17.  * @author 小勇子start
  18.  * @create 2021-10-11 16:35
  19.  */
  20. public class WordCount {
  22.     public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {
  23.         Configuration conf=new Configuration();
  24.         Job job= Job.getInstance(conf);
  25. 		//这里是对jar包的类，map的类和reduce的类三者的映射
  26.         job.setJarByClass(WordCount.class);
  27.         job.setMapperClass(Map.class);
  28.         job.setReducerClass(Reduce.class);
  29. 		//这里是对map输出的关键字和值对应类型的映射
  30.         job.setMapOutputKeyClass(Text.class);
  31.         job.setMapOutputValueClass(IntWritable.class);
  32. 		//这里是对reduce输出的关键字和值对应类型的映射
  33.         job.setOutputKeyClass(Text.class);
  34.         job.setOutputKeyClass(IntWritable.class);
  36.         //数据输入路径(此处为本地测试)
  37.         FileInputFormat.setInputPaths(job,new Path("C:\\Users\\小勇子\\Desktop\\大数据培训\\练习\\mapreduceTest\\src\\data\\test.txt"));
  38.         //数据输出路径(此处为本地测试)
  39.         FileOutputFormat.setOutputPath(job,new Path("C:\\Users\\小勇子\\Desktop\\大数据培训\\练习\\mapreduceTest\\src\\data\\out1"));
  41.         boolean flag=job.waitForCompletion(true);
  42.         System.exit(flag?0:1);
  43.     }
  45.     static class Map extends Mapper<LongWritable,Text, Text, IntWritable>{
  46.         /*Text的包有很多，注意导的是：org.apache.hadoop.io.Text
  47.         在map中前两个数据类型基本固定
  48.         后两个代表着要输出的类型，如果有reduce，则以该类型发送给reduce
  49.         */没有reduce则直接以该类型输出到目标
  50.         @Override
  51.         protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
  52.             String[] str=value.toString().split(",");
  53.             for (String s:str) {
  54.                 context.write(new Text(s),new IntWritable(1));
  55.             }
  56.       }
  57.     }
  59.     static class Reduce extends Reducer<Text,IntWritable,Text,IntWritable>{
  60.         /*
  61.         <Text,IntWritable,Text,IntWritable>
  62.         前两个是map发过来关键字和值的类型
  63.         后两个是reduce输出关键字和值的类型
  65.         */
  66.         @Override
  67.         protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
  68.            int len=0;
  69.             for (Object s:values) {
  70.                 len++;
  71.             }
  72.             context.write(key,new IntWritable(len));
  73.         }
  74.     }
  75. }

2.数据清洗案例：

  1. package com.xyz2;
  3. import org.apache.hadoop.conf.Configuration;
  4. import org.apache.hadoop.fs.Path;
  5. import org.apache.hadoop.io.LongWritable;
  6. import org.apache.hadoop.io.NullWritable;
  7. import org.apache.hadoop.io.Text;
  8. import org.apache.hadoop.mapreduce.Counter;
  9. import org.apache.hadoop.mapreduce.Job;
  10. import org.apache.hadoop.mapreduce.Mapper;
  11. import org.apache.hadoop.mapreduce.Reducer;
  12. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
  13. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
  15. import java.io.IOException;
  16. /**
  17.  * @author 小勇子start
  18.  * @create 2021-10-11 17:23
  19.  */
  20. public class RepeatProcessing {
  22.     public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {
  23.         Configuration conf=new Configuration();
  24.         Job job= Job.getInstance(conf);
  26.         job.setJarByClass(RepeatProcessing.class);
  27.         job.setMapperClass(Map.class);
  28.         job.setReducerClass(Reduce.class);
  30.         job.setMapOutputValueClass(NullWritable.class);
  31.         job.setMapOutputKeyClass(Text.class);
  33.         job.setOutputValueClass(NullWritable.class);
  34.         job.setOutputKeyClass(Text.class);
  35. 		//此处为本地测试
  36.         FileInputFormat.setInputPaths(job,new Path("C:\\Users\\小勇子\\Desktop\\大数据培训\\练习\\mapreduceTest\\src\\data\\test2.txt"));
  37.         //此处为本地测试
  38.         FileOutputFormat.setOutputPath(job,new Path("C:\\Users\\小勇子\\Desktop\\大数据培训\\练习\\mapreduceTest\\src\\data\\out2"));
  40.         boolean flag=job.waitForCompletion(true);
  41.         long repeat=job.getCounters().findCounter(Count.repeatCount).getValue();
  43.         System.out.println("重复的行数为："+repeat);
  45.         System.exit(flag?0:1);
  46.     }
  48.     static enum Count{//枚举计数
  49.         repeatCount
  50.     }
  52.     static class Map extends Mapper<LongWritable, Text,Text, NullWritable>{
  54.         @Override
  55.         protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
  56.             context.write(value,NullWritable.get());
  57.         }
  58.     }
  60.     static class Reduce extends Reducer<Text, NullWritable,Text,NullWritable>{
  61.         @Override
  62.         protected void reduce(Text key, Iterable<NullWritable> values, Context context) throws IOException, InterruptedException {
  63.             Counter counter=context.getCounter(Count.repeatCount);
  64.             int len=0;
  65.             for (Object s:values) {
  66.                 len++;
  67.             }
  68.             long val= counter.getValue();
  69.             val+=len-1;
  70.             counter.setValue(val);
  71.             context.write(key,NullWritable.get());
  72.         }
  73.     }
  74. }

3.topN案例：

  1. package com.xyz;
  3. import org.apache.hadoop.conf.Configuration;
  4. import org.apache.hadoop.fs.Path;
  5. import org.apache.hadoop.io.IntWritable;
  6. import org.apache.hadoop.io.LongWritable;
  7. import org.apache.hadoop.io.Text;
  8. import org.apache.hadoop.mapreduce.Job;
  9. import org.apache.hadoop.mapreduce.Mapper;
  10. import org.apache.hadoop.mapreduce.Reducer;
  11. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
  12. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
  14. import java.io.IOException;
  15. import java.util.*;
  17. /**
  18.  * @author 小勇子start
  19.  * @create 2021-09-30 19:53
  20.  */
  21. public class Task2_4 {
  23.     static class TaskMap extends Mapper<LongWritable, Text, Text, Text> {
  25.         @Override
  26.         protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
  27.             String[] line = value.toString().split(";");
  28.             String filmName = line[0];//电影名称
  29.             String filmType = line[6];//电影类型
  30.             String[] types = filmType.split("/|、|，");
  31.             for (String s : types) {
  32.                 s=s.trim();
  33.                 if (s.length() > 2) {
  35.                     for (int i = 2; i < s.length(); i += 2) {
  36.                         String newStr = s.substring(i - 2, i);
  37.                         context.write(new Text(newStr), new Text(filmName));
  38.                     }
  39.                 } else
  40.                     context.write(new Text(s), new Text(filmName));
  41.             }
  43.         }
  44.     }
  46.     static class TaskReduce extends Reducer<Text, Text, Text, IntWritable> {
  47.        ArrayList<Object[]> arrayList=new ArrayList<Object[]>();
  48.         @Override
  49.         protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
  50.             //此处用set是因为Iterable<Text> values中存储的值中有重复的电影名称，需要取不同名字的个数
  51.             HashSet set=new HashSet();
  52.             for (Text s : values) {
  53.                 set.add(s);
  54.             }
  55.             Object[] data={set.size(),key.toString()};
  56.             arrayList.add(data);
  57.         }
  59.         @Override
  60.         protected void cleanup(Context context) throws IOException, InterruptedException {
  61.             Object[] data=arrayList.toArray();
  62.             Arrays.parallelSort(data, new Comparator<Object>() {
  63.                 @Override
  64.                 public int compare(Object o1, Object o2) {
  65.                     Object[] o_1=(Object[]) o1;
  66.                     Object[] o_2=(Object[]) o2;
  67.                     return (int)o_2[0]-(int)o_1[0];
  68.                 }
  69.             });
  70.             for (Object d:data) {
  71.                 Object[] d1=(Object[]) d;
  72.                 context.write(new Text(d1[1].toString()),new IntWritable((int)d1[0]));
  73.            }
  74.             /*取前3个
  75.             for (int i=0;i<3;i++) {
  76.             Object[] d1=(Object[]) data[i];
  77.             context.write(new Text(d1[1].toString()),new IntWritable((int)d1[0]));
  78.         	}
  79.             */
  81.         }
  82.     }
  84.     public static void main(String[] args) throws Exception {
  85.         Configuration conf = new Configuration();
  86.         Job job = Job.getInstance(conf);
  88.         job.setJarByClass(Task2_4.class);
  89.         job.setMapperClass(TaskMap.class);
  90.         job.setReducerClass(TaskReduce.class);
  92.         job.setMapOutputKeyClass(Text.class);
  93.         job.setMapOutputValueClass(Text.class);
  95.         job.setOutputKeyClass(Text.class);
  96.         job.setOutputValueClass(IntWritable.class);
  98.         FileInputFormat.setInputPaths(job, new Path("C:\\Users\\小勇子\\Desktop\\大数据培训\\练习\\作业\\7月25日晚上任务\\数据\\2-1"));
  99.         FileOutputFormat.setOutputPath(job, new Path("C:\\Users\\小勇子\\Desktop\\大数据培训\\练习\\作业\\7月25日晚上任务\\数据\\2-42"));
  101.         boolean flag = job.waitForCompletion(true);
  103.         System.exit(flag ? 0 : 1);
  105.     }
  106. }

4.join案例（自定义Writable）

  1. package com.xyz;
  3. import org.apache.hadoop.conf.Configuration;
  4. import org.apache.hadoop.fs.Path;
  5. import org.apache.hadoop.io.*;
  6. import org.apache.hadoop.mapreduce.Job;
  7. import org.apache.hadoop.mapreduce.Mapper;
  8. import org.apache.hadoop.mapreduce.Reducer;
  9. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
  10. import org.apache.hadoop.mapreduce.lib.input.FileSplit;
  11. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
  13. import java.io.DataInput;
  14. import java.io.DataOutput;
  15. import java.io.IOException;
  17. /**
  18.  * @author 小勇子start
  19.  * @create 2021-10-12 10:32
  20.  */
  21. public class JoinDemo {
  22.     static class MyDataWritable implements Writable {
  23.         private String flag;//标记
  24.         private String data;//一行数据
  26.         @Override
  27.         public void write(DataOutput dataOutput) throws IOException {
  28.             dataOutput.writeUTF(flag);
  29.             dataOutput.writeUTF(data);
  30.         }
  31.         @Override
  32.         public void readFields(DataInput dataInput) throws IOException {
  33.             this.flag=dataInput.readUTF();
  34.             this.data=dataInput.readUTF();
  35.         }
  36.         public String getFlag(){
  37.             return flag;
  38.         }
  39.         public void setFlag(String flag){
  40.            this.flag=flag;
  41.         }
  42.         public String getData() {
  43.             return data;
  44.         }
  45.         public void setData(String data) {
  46.             this.data = data;
  47.         }
  48.     }
  50.     static class Map extends Mapper<LongWritable, Text, IntWritable,MyDataWritable>{
  51.         @Override
  52.         protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
  53.             String[] str=value.toString().split(",");
  54.             int id=Integer.valueOf(str[0]);
  55.             String fileName=((FileSplit)context.getInputSplit()).getPath().getName();
  56.             MyDataWritable myData=new MyDataWritable();
  57.             myData.setData(value.toString());
  58.             if(fileName.contains("customers"))
  59.                myData.setFlag("kh");
  60.             else
  61.                 myData.setFlag("order");
  62.             context.write(new IntWritable(id),myData);
  63.         }
  64.     }
  66.     static class Reduce extends Reducer<IntWritable,MyDataWritable,Text, NullWritable>{
  67.         @Override
  68.         protected void reduce(IntWritable key, Iterable<MyDataWritable> values, Context context) throws IOException, InterruptedException {
  69.             String khData="";
  70.             String oData="";
  71.             for (MyDataWritable m:values) {
  72.                 if (m.getFlag().equals("kh"))
  73.                     khData=m.getData();
  74.                 else
  75.                     oData=m.getData();
  76.             }
  77.             String newData=khData+","+oData;
  78.             context.write(new Text(newData),NullWritable.get());
  79.         }
  80.     }
  82.     public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {
  83.         Configuration conf=new Configuration();
  84.         Job job= Job.getInstance(conf);
  86.         job.setJarByClass(JoinDemo.class);
  87.         job.setMapperClass(Map.class);
  88.         job.setReducerClass(Reduce.class);
  90.         job.setMapOutputValueClass(MyDataWritable.class);
  91.         job.setMapOutputKeyClass(IntWritable.class);
  93.         job.setOutputValueClass(NullWritable.class);
  94.         job.setOutputKeyClass(Text.class);
  95.         //此处为本地测试
  96.         FileInputFormat.setInputPaths(job,new Path("C:\\Users\\小勇子\\Desktop\\大数据培训\\练习\\joinDemo\\DemoOne\\join\\"));
  97.         //此处为本地测试
  98.         FileOutputFormat.setOutputPath(job,new Path("C:\\Users\\小勇子\\Desktop\\大数据培训\\练习\\joinDemo\\DemoOne\\join\\out1"));
  99.         boolean flag=job.waitForCompletion(true);
  100.         System.exit(flag?0:1);
  101.     }
  102. }

5.时间日期格式化

  1. import java.text.ParseException;
  2. import java.text.SimpleDateFormat;
  3. import java.util.Date;
  5. /**
  6.  * @author 小勇子start
  7.  * @create 2021-10-11 17:53
  8.  */
  9. public class DateTimeFormat {
  10.     public static void main(String[] args) throws ParseException {
  11.         String dateStr="2021.09.05";
  12.         SimpleDateFormat sdf=new SimpleDateFormat("yyyy.MM.dd");
  13.         SimpleDateFormat sdf1=new SimpleDateFormat("yyyy-MM-dd");
  15.         Date oldDate=sdf.parse(dateStr);
  16.         String newDateStr=sdf1.format(oldDate);
  17.         Date newDate=sdf1.parse(newDateStr);
  19.         System.out.println(oldDate);//结果：Sun Sep 05 00:00:00 CST 2021
  20.         System.out.println(newDateStr);//结果：2021-09-05
  21.         System.out.println(newDate);//结果：Sun Sep 05 00:00:00 CST 2021
  22.     }
  23. }

6.mapreduce项目打jar包

  1. 右键项目 Open Module Settings
  2. 找到左侧 Artifacts，点击中间的 +号，选择JAR,然后选择“”“From Module With dependicies”
  3. 选择要执行的Main方法
  4. 点击idea上面的Builde菜单，选择Builder Artifacts。然后builder即可（如果改了代码，直接点击Rebuild
  5. 打包后将jar包上传至linux中

7.运行jar包

  1. 在linux中创建一个文本文件，然后上传至hdfs中
  2. 开始运行程序： hadoop jar xxxx.jar com.xyzy.test1.MyWordDriver /xxx.txt /out1

如果你程序中输入，输出路径是写死的（即不是用的args[0]这样的方式），那么/xxx.txt 和/out1就不需要了 ;在上传后jar包所在的位置执行上述命令，否则jar包前面使用绝对路径。

mapreduce的使用的更多相关文章

  1. Mapreduce的文件和hbase共同输入

    Mapreduce的文件和hbase共同输入 package duogemap;   import java.io.IOException;   import org.apache.hadoop.co ...

  2. mapreduce多文件输出的两方法

    mapreduce多文件输出的两方法   package duogemap;   import java.io.IOException;   import org.apache.hadoop.conf ...

  3. mapreduce中一个map多个输入路径

    package duogemap; import java.io.IOException; import java.util.ArrayList; import java.util.List; imp ...

  4. Hadoop 中利用 mapreduce 读写 mysql 数据

    Hadoop 中利用 mapreduce 读写 mysql 数据   有时候我们在项目中会遇到输入结果集很大,但是输出结果很小,比如一些 pv.uv 数据,然后为了实时查询的需求,或者一些 OLAP ...

  5. [Hadoop in Action] 第5章 高阶MapReduce

    链接多个MapReduce作业 执行多个数据集的联结 生成Bloom filter   1.链接MapReduce作业   [顺序链接MapReduce作业]   mapreduce-1 | mapr ...

  6. MapReduce

    2016-12-21  16:53:49 mapred-default.xml mapreduce.input.fileinputformat.split.minsize 0 The minimum ...

  7. 使用mapreduce计算环比的实例

    最近做了一个小的mapreduce程序,主要目的是计算环比值最高的前5名,本来打算使用spark计算,可是本人目前spark还只是简单看了下,因此就先改用mapreduce计算了,今天和大家分享下这个 ...

  8. MapReduce剖析笔记之八: Map输出数据的处理类MapOutputBuffer分析

    在上一节我们分析了Child子进程启动,处理Map.Reduce任务的主要过程,但对于一些细节没有分析,这一节主要对MapOutputBuffer这个关键类进行分析. MapOutputBuffer顾 ...

  9. MapReduce剖析笔记之七：Child子进程处理Map和Reduce任务的主要流程

    在上一节我们分析了TaskTracker如何对JobTracker分配过来的任务进行初始化,并创建各类JVM启动所需的信息,最终创建JVM的整个过程,本节我们继续来看,JVM启动后,执行的是Child ...

  10. MapReduce剖析笔记之六：TaskTracker初始化任务并启动JVM过程

    在上面一节我们分析了JobTracker调用JobQueueTaskScheduler进行任务分配,JobQueueTaskScheduler又调用JobInProgress按照一定顺序查找任务的流程 ...

随机推荐

  1. 网络编程:软件开发架构、架构总结、网络编程前戏、OSI七层协议简介、OSI七层协议之物理连接层、数据链路层、网络相关专业名词、OSI七层协议之网络层

    目录 软件开发架构 架构总结 网络编程前戏 OSI七层协议简介 OSI七层协议之物理连接层 OSI七层协议之数据链路层 网络相关专业名词 OSI七层协议之网络层 OSI七层协议之传输层 软件开发架构 ...

  2. 这可能是最全的SpringBoot3新版本变化了！

    11月24号,Spring Boot 3.0 发布了第一个正式的 GA 版本,一起看看新版本到底有哪些变化. 2.7版本升级指南 官方提供了一个从 2.7 版本升级到 3.0 的指南:https:// ...

  3. 【每日一题】【快速排序过程、循环过程无=、递归参数】2022年1月16日-NC140 排序

    快速排序 对时间复杂度和空间复杂度有要求 方法1:快速排序-递归 import java.util.*; public class Solution { /** * 代码中的类名.方法名.参数名已经指 ...

  4. pandas中loc和iloc的使用细节

    1.缘由 前段时间在使用pandas库中的索引和切片的时候,突然就感觉有点懵,赋值和索引的操作总是报错. 网上的很多资料讲的也非常的浅显,而且使用起来非常不顺手. 于是我就找到很多的网上资料,然后自己 ...

  5. SQLMap入门——获取表中的字段名

    查询表名之后,查询表中的字段名 python sqlmap.py -u http://localhost/sqli-labs-master/Less-1/?id=1 -D xssplatform -T ...

  6. LeetCode HOT 100：最大子数组和

    题目:53. 最大子数组和 题目描述: 给你一个整数数组,在该数组的所有子数组中,找到一个子数组中所有元素相加和最大,返回这个最大的和.子数组就是一个数组中,由一个或几个下标连续的元素,组成的小数组, ...

  7. python 数据迁移

    Python数据库迁移 操作数据库 mysql uroot -p create database Python1031 charset=utf8; 数据迁移 from flask_migrate im ...

  8. 【Azure 云服务】为Azure云服务配置上自签名的SSL证书步骤

    问题描述 在使用Azure Cloud Service(云服务),默认的情况下都是使用的 HTTP 服务,通过 Visual Studio 2022 创建的默认 Cloud Service项目中,在S ...

  9. Spark详解(03) - Spark3.0.0运行环境安装

    Spark详解(03) - Spark3.0.0运行环境安装 Spark运行模式 Spark常见部署模式: Local模式:在本地部署单个Spark服务 所谓的Local模式,就是不需要其他任何节点资 ...

  10. rvm安装ruby

    macOS11.1 打开终端 使用下面命令查看ruby版本 rvm list known 然后安装 rvm install 2.0.0 查看ruby版本 ruby -v   系统默认使用ruby版本 ...