mapreduce的使用

以下案例写之前需要导入jar包依赖：

  <dependencies>

      <dependency>

              <groupId>org.apache.hadoop</groupId>

              <artifactId>hadoop-client</artifactId>

              <version>2.6.0</version>

      </dependency>

  </dependencies>

1.单词计数案例：

package com.xyz;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.Reducer;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

/**

 * @author 小勇子start

 * @create 2021-10-11 16:35

 */

public class WordCount {

    public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {

        Configuration conf=new Configuration();

        Job job= Job.getInstance(conf);

		//这里是对jar包的类，map的类和reduce的类三者的映射

        job.setJarByClass(WordCount.class);

        job.setMapperClass(Map.class);

        job.setReducerClass(Reduce.class);

		//这里是对map输出的关键字和值对应类型的映射

        job.setMapOutputKeyClass(Text.class);

        job.setMapOutputValueClass(IntWritable.class);

		//这里是对reduce输出的关键字和值对应类型的映射

        job.setOutputKeyClass(Text.class);

        job.setOutputKeyClass(IntWritable.class);

        //数据输入路径(此处为本地测试)

        FileInputFormat.setInputPaths(job,new Path("C:\\Users\\小勇子\\Desktop\\大数据培训\\练习\\mapreduceTest\\src\\data\\test.txt"));

        //数据输出路径(此处为本地测试)

        FileOutputFormat.setOutputPath(job,new Path("C:\\Users\\小勇子\\Desktop\\大数据培训\\练习\\mapreduceTest\\src\\data\\out1"));

        boolean flag=job.waitForCompletion(true);

        System.exit(flag?0:1);

    }

    static class Map extends Mapper<LongWritable,Text, Text, IntWritable>{

        /*Text的包有很多，注意导的是：org.apache.hadoop.io.Text

        在map中前两个数据类型基本固定

        后两个代表着要输出的类型，如果有reduce，则以该类型发送给reduce

        */没有reduce则直接以该类型输出到目标

        @Override

        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

            String[] str=value.toString().split(",");

            for (String s:str) {

                context.write(new Text(s),new IntWritable(1));

            }

      }

    }

    static class Reduce extends Reducer<Text,IntWritable,Text,IntWritable>{

        /*

        <Text,IntWritable,Text,IntWritable>

        前两个是map发过来关键字和值的类型

        后两个是reduce输出关键字和值的类型

        */

        @Override

        protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {

           int len=0;

            for (Object s:values) {

                len++;

            }

            context.write(key,new IntWritable(len));

        }

    }

}

2.数据清洗案例：

package com.xyz2;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.NullWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Counter;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.Reducer;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

/**

 * @author 小勇子start

 * @create 2021-10-11 17:23

 */

public class RepeatProcessing {

    public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {

        Configuration conf=new Configuration();

        Job job= Job.getInstance(conf);

        job.setJarByClass(RepeatProcessing.class);

        job.setMapperClass(Map.class);

        job.setReducerClass(Reduce.class);

        job.setMapOutputValueClass(NullWritable.class);

        job.setMapOutputKeyClass(Text.class);

        job.setOutputValueClass(NullWritable.class);

        job.setOutputKeyClass(Text.class);

		//此处为本地测试

        FileInputFormat.setInputPaths(job,new Path("C:\\Users\\小勇子\\Desktop\\大数据培训\\练习\\mapreduceTest\\src\\data\\test2.txt"));

        //此处为本地测试

        FileOutputFormat.setOutputPath(job,new Path("C:\\Users\\小勇子\\Desktop\\大数据培训\\练习\\mapreduceTest\\src\\data\\out2"));

        boolean flag=job.waitForCompletion(true);

        long repeat=job.getCounters().findCounter(Count.repeatCount).getValue();

        System.out.println("重复的行数为："+repeat);

        System.exit(flag?0:1);

    }

    static enum Count{//枚举计数

        repeatCount

    }

    static class Map extends Mapper<LongWritable, Text,Text, NullWritable>{

        @Override

        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

            context.write(value,NullWritable.get());

        }

    }

    static class Reduce extends Reducer<Text, NullWritable,Text,NullWritable>{

        @Override

        protected void reduce(Text key, Iterable<NullWritable> values, Context context) throws IOException, InterruptedException {

            Counter counter=context.getCounter(Count.repeatCount);

            int len=0;

            for (Object s:values) {

                len++;

            }

            long val= counter.getValue();

            val+=len-1;

            counter.setValue(val);

            context.write(key,NullWritable.get());

        }

    }

}

3.topN案例：

package com.xyz;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.Reducer;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

import java.util.*;

/**

 * @author 小勇子start

 * @create 2021-09-30 19:53

 */

public class Task2_4 {

    static class TaskMap extends Mapper<LongWritable, Text, Text, Text> {

        @Override

        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

            String[] line = value.toString().split(";");

            String filmName = line[0];//电影名称

            String filmType = line[6];//电影类型

            String[] types = filmType.split("/|、|，");

            for (String s : types) {

                s=s.trim();

                if (s.length() > 2) {

                    for (int i = 2; i < s.length(); i += 2) {

                        String newStr = s.substring(i - 2, i);

                        context.write(new Text(newStr), new Text(filmName));

                    }

                } else

                    context.write(new Text(s), new Text(filmName));

            }

        }

    }

    static class TaskReduce extends Reducer<Text, Text, Text, IntWritable> {

       ArrayList<Object[]> arrayList=new ArrayList<Object[]>();

        @Override

        protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {

            //此处用set是因为Iterable<Text> values中存储的值中有重复的电影名称，需要取不同名字的个数

            HashSet set=new HashSet();

            for (Text s : values) {

                set.add(s);

            }

            Object[] data={set.size(),key.toString()};

            arrayList.add(data);

        }

        @Override

        protected void cleanup(Context context) throws IOException, InterruptedException {

            Object[] data=arrayList.toArray();

            Arrays.parallelSort(data, new Comparator<Object>() {

                @Override

                public int compare(Object o1, Object o2) {

                    Object[] o_1=(Object[]) o1;

                    Object[] o_2=(Object[]) o2;

                    return (int)o_2[0]-(int)o_1[0];

                }

            });

            for (Object d:data) {

                Object[] d1=(Object[]) d;

                context.write(new Text(d1[1].toString()),new IntWritable((int)d1[0]));

           }

            /*取前3个

            for (int i=0;i<3;i++) {

            Object[] d1=(Object[]) data[i];

            context.write(new Text(d1[1].toString()),new IntWritable((int)d1[0]));

        	}

            */

        }

    }

    public static void main(String[] args) throws Exception {

        Configuration conf = new Configuration();

        Job job = Job.getInstance(conf);

        job.setJarByClass(Task2_4.class);

        job.setMapperClass(TaskMap.class);

        job.setReducerClass(TaskReduce.class);

        job.setMapOutputKeyClass(Text.class);

        job.setMapOutputValueClass(Text.class);

        job.setOutputKeyClass(Text.class);

        job.setOutputValueClass(IntWritable.class);

        FileInputFormat.setInputPaths(job, new Path("C:\\Users\\小勇子\\Desktop\\大数据培训\\练习\\作业\\7月25日晚上任务\\数据\\2-1"));

        FileOutputFormat.setOutputPath(job, new Path("C:\\Users\\小勇子\\Desktop\\大数据培训\\练习\\作业\\7月25日晚上任务\\数据\\2-42"));

        boolean flag = job.waitForCompletion(true);

        System.exit(flag ? 0 : 1);

    }

}

4.join案例（自定义Writable）

package com.xyz;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.*;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.Reducer;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.input.FileSplit;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.DataInput;

import java.io.DataOutput;

import java.io.IOException;

/**

 * @author 小勇子start

 * @create 2021-10-12 10:32

 */

public class JoinDemo {

    static class MyDataWritable implements Writable {

        private String flag;//标记

        private String data;//一行数据

        @Override

        public void write(DataOutput dataOutput) throws IOException {

            dataOutput.writeUTF(flag);

            dataOutput.writeUTF(data);

        }

        @Override

        public void readFields(DataInput dataInput) throws IOException {

            this.flag=dataInput.readUTF();

            this.data=dataInput.readUTF();

        }

        public String getFlag(){

            return flag;

        }

        public void setFlag(String flag){

           this.flag=flag;

        }

        public String getData() {

            return data;

        }

        public void setData(String data) {

            this.data = data;

        }

    }

    static class Map extends Mapper<LongWritable, Text, IntWritable,MyDataWritable>{

        @Override

        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

            String[] str=value.toString().split(",");

            int id=Integer.valueOf(str[0]);

            String fileName=((FileSplit)context.getInputSplit()).getPath().getName();

            MyDataWritable myData=new MyDataWritable();

            myData.setData(value.toString());

            if(fileName.contains("customers"))

               myData.setFlag("kh");

            else

                myData.setFlag("order");

            context.write(new IntWritable(id),myData);

        }

    }

    static class Reduce extends Reducer<IntWritable,MyDataWritable,Text, NullWritable>{

        @Override

        protected void reduce(IntWritable key, Iterable<MyDataWritable> values, Context context) throws IOException, InterruptedException {

            String khData="";

            String oData="";

            for (MyDataWritable m:values) {

                if (m.getFlag().equals("kh"))

                    khData=m.getData();

                else

                    oData=m.getData();

            }

            String newData=khData+","+oData;

            context.write(new Text(newData),NullWritable.get());

        }

    }

    public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {

        Configuration conf=new Configuration();

        Job job= Job.getInstance(conf);

        job.setJarByClass(JoinDemo.class);

        job.setMapperClass(Map.class);

        job.setReducerClass(Reduce.class);

        job.setMapOutputValueClass(MyDataWritable.class);

        job.setMapOutputKeyClass(IntWritable.class);

        job.setOutputValueClass(NullWritable.class);

        job.setOutputKeyClass(Text.class);

        //此处为本地测试

        FileInputFormat.setInputPaths(job,new Path("C:\\Users\\小勇子\\Desktop\\大数据培训\\练习\\joinDemo\\DemoOne\\join\\"));

        //此处为本地测试

        FileOutputFormat.setOutputPath(job,new Path("C:\\Users\\小勇子\\Desktop\\大数据培训\\练习\\joinDemo\\DemoOne\\join\\out1"));

        boolean flag=job.waitForCompletion(true);

        System.exit(flag?0:1);

    }

}

5.时间日期格式化

import java.text.ParseException;

import java.text.SimpleDateFormat;

import java.util.Date;

/**

 * @author 小勇子start

 * @create 2021-10-11 17:53

 */

public class DateTimeFormat {

    public static void main(String[] args) throws ParseException {

        String dateStr="2021.09.05";

        SimpleDateFormat sdf=new SimpleDateFormat("yyyy.MM.dd");

        SimpleDateFormat sdf1=new SimpleDateFormat("yyyy-MM-dd");

        Date oldDate=sdf.parse(dateStr);

        String newDateStr=sdf1.format(oldDate);

        Date newDate=sdf1.parse(newDateStr);

        System.out.println(oldDate);//结果：Sun Sep 05 00:00:00 CST 2021

        System.out.println(newDateStr);//结果：2021-09-05

        System.out.println(newDate);//结果：Sun Sep 05 00:00:00 CST 2021

    }

}

6.mapreduce项目打jar包

右键项目 Open Module Settings
找到左侧 Artifacts，点击中间的 +号，选择JAR,然后选择“”“From Module With dependicies”
选择要执行的Main方法
点击idea上面的Builde菜单，选择Builder Artifacts。然后builder即可（如果改了代码，直接点击Rebuild
打包后将jar包上传至linux中

7.运行jar包

在linux中创建一个文本文件，然后上传至hdfs中
开始运行程序： hadoop jar xxxx.jar com.xyzy.test1.MyWordDriver /xxx.txt /out1

如果你程序中输入，输出路径是写死的（即不是用的args[0]这样的方式），那么/xxx.txt 和/out1就不需要了 ;在上传后jar包所在的位置执行上述命令，否则jar包前面使用绝对路径。

mapreduce的使用的更多相关文章

Mapreduce的文件和hbase共同输入
Mapreduce的文件和hbase共同输入 package duogemap; import java.io.IOException; import org.apache.hadoop.co ...
mapreduce多文件输出的两方法
mapreduce多文件输出的两方法 package duogemap; import java.io.IOException; import org.apache.hadoop.conf ...
mapreduce中一个map多个输入路径
package duogemap; import java.io.IOException; import java.util.ArrayList; import java.util.List; imp ...
Hadoop 中利用 mapreduce 读写 mysql 数据
Hadoop 中利用 mapreduce 读写 mysql 数据有时候我们在项目中会遇到输入结果集很大,但是输出结果很小,比如一些 pv.uv 数据,然后为了实时查询的需求,或者一些 OLAP ...
[Hadoop in Action] 第5章高阶MapReduce
链接多个MapReduce作业执行多个数据集的联结生成Bloom filter 1.链接MapReduce作业 [顺序链接MapReduce作业] mapreduce-1 | mapr ...
MapReduce
2016-12-21 16:53:49 mapred-default.xml mapreduce.input.fileinputformat.split.minsize 0 The minimum ...
使用mapreduce计算环比的实例
最近做了一个小的mapreduce程序,主要目的是计算环比值最高的前5名,本来打算使用spark计算,可是本人目前spark还只是简单看了下,因此就先改用mapreduce计算了,今天和大家分享下这个 ...
MapReduce剖析笔记之八: Map输出数据的处理类MapOutputBuffer分析
在上一节我们分析了Child子进程启动,处理Map.Reduce任务的主要过程,但对于一些细节没有分析,这一节主要对MapOutputBuffer这个关键类进行分析. MapOutputBuffer顾 ...
MapReduce剖析笔记之七：Child子进程处理Map和Reduce任务的主要流程
在上一节我们分析了TaskTracker如何对JobTracker分配过来的任务进行初始化,并创建各类JVM启动所需的信息,最终创建JVM的整个过程,本节我们继续来看,JVM启动后,执行的是Child ...
MapReduce剖析笔记之六：TaskTracker初始化任务并启动JVM过程
在上面一节我们分析了JobTracker调用JobQueueTaskScheduler进行任务分配,JobQueueTaskScheduler又调用JobInProgress按照一定顺序查找任务的流程 ...

随机推荐

春秋云境 CVE-2022-24663复现
靶标介绍: 远程代码执行漏洞,任何订阅者都可以利用该漏洞发送带有"短代码"参数设置为 PHP Everywhere 的请求,并在站点上执行任意 PHP 代码.P.S. 存在常见用户 ...
Spring Security（5）
您好,我是湘王,这是我的博客园,欢迎您来,欢迎您再来- 经常上网的人都应该有这样的体验:很多网站或者APP只需要第一次登录时输入用户名和密码之后,后面很长一段时间内就不需要再次输入密码了.这确实是一个 ...
Day26：内部类的详解
内部类 1.1内部类概述内部类:就是在一个类中定义另外一个类. 例如我们在A类中定义一个B类,那么B类就是A类的内部类,A则是B的外部类. 好比我们的手机是一个类,而手机内部的零件又属于一个类. 内 ...
MySQL 性能压测工具-sysbench，从入门到自定义测试项
sysbench是一个开源的.基于LuaJIT(LuaJIT 是 Lua 的即时编译器,可将代码直接翻译成机器码,性能比原生 lua 要高) 的.可自定义脚本的多线程基准测试工具,也是目前用得最多的 ...
基础css样式
目录 css层叠样式表 css选择器伪类选择器选择器生效优先级 css字体颜色背景设置宽高边框 display属性 div盒子模型 float漂浮溢出overflow 定位(position ...
form表单里的button 等元素不能使用margin: 0 auto;
记得把form和button都设为display:block; 就能用margin: 0 auto;水平居中了
CGI、WSGI、uWSGI、ASGI……
在学习 Python Web 开发时候,可能会遇到诸如 uwsgi.wsgi 等名词,下面通过梳理总结,探究它们之间的关系. CGI CGI(Common Gateway Interface)通用网关 ...
List排序（降序）
一.添加一个比较器点击查看代码 import java.util.Comparator; /** * @Classname ComparatorResultType * @Description 排 ...
openresty package path
openresty lua_package_path 是整个openresty最基础的功能,不理解 path就无法做项目,更无法写框架. 先看下文档lua_package_path https://g ...
Vue DevUI v1.4 版本发布：从体验、效率、质量三个方面做了全方位的优化🎉
2022年9月1日,我们正式宣布 Vue DevUI 组件库发布 v1.0 版本. Vue DevUI 1.0 正式发布经过100多天的持续迭代,我们正式发布 v1.4.0 版本,共新增: 11位贡 ...

mapreduce的使用

mapreduce的使用

1.单词计数案例：

2.数据清洗案例：

3.topN案例：

4.join案例（自定义Writable）

5.时间日期格式化

6.mapreduce项目打jar包

7.运行jar包

mapreduce的使用的更多相关文章

随机推荐

热门专题