MapReduce自定义InputFormat和OutputFormat案例

自定义InputFormat 合并小文件

  • 需求

    无论hdfs还是mapreduce，存放小文件会占用元数据信息，白白浪费内存，实践中，又难免面临处理大量小文件的场景

  • 优化小文件的三种方式

    1.在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS

    2.在业务处理之前，在HDFS上使用mapreduce程序对小文件进行合并

    3.在mapreduce处理时，可采用combineInputFormat提高效率

  • 用代码实现第二种方式

自定义InputFormat

package cn.itcast.demo3;

import jdk.nashorn.internal.ir.Splittable;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.BytesWritable;

import org.apache.hadoop.io.NullWritable;

import org.apache.hadoop.mapreduce.*;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import java.io.IOException;

import java.util.List;

public class MyInputFormat extends FileInputFormat<NullWritable, BytesWritable> {

    @Override

    public RecordReader<NullWritable, BytesWritable> createRecordReader(InputSplit split, TaskAttemptContext context) throws IOException, InterruptedException {

        MyRecordReader myRecordReader = new MyRecordReader();

        myRecordReader.initialize(split, context);

        return myRecordReader;

    }

    /**

     * 表示我们的文件是否可切分

     * 返回false表示我们的文件不可切分，读取文件时会一次性将文件内容全部读取出来

     *

     * @param context

     * @param filename

     * @return

     */

    @Override

    protected boolean isSplitable(JobContext context, Path filename) {

        return false;

    }

}

自定义RecordReader

package cn.itcast.demo3;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FSDataInputStream;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.BytesWritable;

import org.apache.hadoop.io.IOUtils;

import org.apache.hadoop.io.NullWritable;

import org.apache.hadoop.mapreduce.InputSplit;

import org.apache.hadoop.mapreduce.RecordReader;

import org.apache.hadoop.mapreduce.TaskAttemptContext;

import org.apache.hadoop.mapreduce.lib.input.FileSplit;

import java.io.IOException;

import java.io.InputStream;

public class MyRecordReader extends RecordReader<NullWritable, BytesWritable> {

    //定义文件切片

    private FileSplit fileSplit;

    //定义文件configuration

    private Configuration configuration;

    //定义v2

    private BytesWritable bytesWritable = new BytesWritable();

    //定义下面nextKeyValue返回值为false

    private boolean nextKeyValue = false;

    /**

     * 初始化方法

     * 这里可以拿到文件切片，也就意味着可以拿到文件，将文件转换为字节数组

     *

     * @param split

     * @param context

     * @throws IOException

     * @throws InterruptedException

     */

    @Override

    public void initialize(InputSplit split, TaskAttemptContext context) throws IOException, InterruptedException {

        //获取文件切片

        this.fileSplit = (FileSplit) split;

        //获取文件Configuration

        this.configuration = context.getConfiguration();

    }

    /**

     * 返回true，表示文件读取完成，不会再往下继续读取文件

     * 返回false，表示会继续往下读取文件

     *

     * @return

     * @throws IOException

     * @throws InterruptedException

     */

    @Override

    public boolean nextKeyValue() throws IOException, InterruptedException {

        if (!nextKeyValue) {

            //根据文件的切片，将文件的内容全部读取出来，封装到BytesWritable中

            byte[] fileContent = new byte[(int) fileSplit.getLength()];

            //获取文件切片路径

            Path path = fileSplit.getPath();

            //获取文件系统

            FileSystem fileSystem = path.getFileSystem(configuration);

            //打开文件输入流

            FSDataInputStream inputStream = fileSystem.open(path);

            //将输入流转到字节数组中

            IOUtils.readFully(inputStream, fileContent, 0, (int) fileSplit.getLength());

            bytesWritable.set(fileContent, 0, fileContent.length);

            //将读取文件的标识设置为true，表示文件已经读取完成，不需要继续读取

            nextKeyValue = true;

            IOUtils.closeStream(inputStream);

            return nextKeyValue;

        }

        return false;

    }

    /**

     * 用来返回k1的值

     *

     * @return

     * @throws IOException

     * @throws InterruptedException

     */

    @Override

    public NullWritable getCurrentKey() throws IOException, InterruptedException {

        return NullWritable.get();

    }

    /**

     * 用来返回v1的值

     *

     * @return

     * @throws IOException

     * @throws InterruptedException

     */

    @Override

    public BytesWritable getCurrentValue() throws IOException, InterruptedException {

        return bytesWritable;

    }

    /**

     * 不太需要注意，就是用来读取运行进度的

     *

     * @return

     * @throws IOException

     * @throws InterruptedException

     */

    @Override

    public float getProgress() throws IOException, InterruptedException {

        return nextKeyValue ? 1.0F : 0.0F;

    }

    /**

     * 用来读取完后释放资源的，了解即可

     *

     * @throws IOException

     */

    @Override

    public void close() throws IOException {

    }

}

定义一个Mapper类

package cn.itcast.demo3;

import org.apache.hadoop.io.BytesWritable;

import org.apache.hadoop.io.NullWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.InputSplit;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.lib.input.FileSplit;

import java.io.IOException;

public class MyMapperInput extends Mapper<NullWritable, BytesWritable, Text, BytesWritable> {

    @Override

    protected void map(NullWritable key, BytesWritable value, Context context) throws IOException, InterruptedException {

        //获取文件切片

        FileSplit inputSplit = (FileSplit) context.getInputSplit();

        //获取文件名称

        String name = inputSplit.getPath().getName();

        //输出k2,v2

        context.write(new Text(name), value);

    }

}

程序main函数入口

package cn.itcast.demo3;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.conf.Configured;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.BytesWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.util.Tool;

import org.apache.hadoop.util.ToolRunner;

public class OwnInputFormatMain extends Configured implements Tool {

    @Override

    public int run(String[] args) throws Exception {

        //创建job对象

        Job job = Job.getInstance(super.getConf(), "ownInputFormat");

        //输入数据，设置输入路径，注意这里是自动以的InputFormat

        job.setInputFormatClass(MyInputFormat.class);

        MyInputFormat.addInputPath(job, new Path("file:////Volumes/赵壮备份/大数据离线课程资料/5.大数据离线第五天/自定义inputformat_小文件合并/input"));

        //自定义map逻辑

        job.setMapperClass(MyMapperInput.class);

        //设置k2,v2输出类型

        job.setMapOutputKeyClass(Text.class);

        job.setMapOutputValueClass(BytesWritable.class);

        //虽然没有reducer，但是不设置reduce输出类型，默认的是<LongWritable,Text>

        job.setOutputKeyClass(Text.class);

        job.setOutputValueClass(BytesWritable.class);

		//输出数据，设置输出路径

        job.setOutputFormatClass(SequenceFileOutputFormat.class);

        SequenceFileOutputFormat.setOutputPath(job,new Path("file:////Volumes/赵壮备份/大数据离线课程资料/5.大数据离线第五天/自定义inputformat_小文件合并/sequence_output"));

        //提交任务到集群

        boolean b = job.waitForCompletion(true);

        return b ? 0 : 1;

    }

    public static void main(String[] args) throws Exception {

        int run = ToolRunner.run(new Configuration(), new OwnInputFormatMain(), args);

        System.exit(run);

    }

}

自定义OutputFormat 将一个文件中的数据分发到不同文件

  • 需求

    将订单的好评与差评区分开来，并将最终的数据发送到不同的文件夹下面去，其中数据第九个字段表示好评，中评，差评。0：好评，1：中评，2：差评

  • 代码实现

自定义OutputFormat

package cn.itcast.demo4;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FSDataOutputStream;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.NullWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.RecordWriter;

import org.apache.hadoop.mapreduce.TaskAttemptContext;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class MyOutputFormat extends FileOutputFormat<Text, NullWritable> {

    @Override

    public RecordWriter<Text, NullWritable> getRecordWriter(TaskAttemptContext context) throws IOException, InterruptedException {

        //从这个方法里就可以获取一个configuration

        Configuration configuration = context.getConfiguration();

        //获取文件系统

        FileSystem fileSystem = FileSystem.get(configuration);

        //设置好评文件的输出路径

        Path goodComment = new Path("/Volumes/赵壮备份/大数据离线课程资料/5.大数据离线第五天/自定义outputformat/myGoodComment/1.txt");

        //设置差评文件的输出路径

        Path badComment = new Path("/Volumes/赵壮备份/大数据离线课程资料/5.大数据离线第五天/自定义outputformat/myBadComment/1.txt");

        //获取文件输出流

        FSDataOutputStream fsDataOutputStream = fileSystem.create(goodComment);

        FSDataOutputStream fsDataOutputStream1 = fileSystem.create(badComment);

        MyRecordWriter myRecordWriter = new MyRecordWriter(fsDataOutputStream, fsDataOutputStream1);

        return myRecordWriter;

    }

}

自定义RecordWriter

package cn.itcast.demo4;

import org.apache.hadoop.fs.FSDataOutputStream;

import org.apache.hadoop.io.IOUtils;

import org.apache.hadoop.io.NullWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.RecordWriter;

import org.apache.hadoop.mapreduce.TaskAttemptContext;

import java.io.IOException;

public class MyRecordWriter extends RecordWriter<Text, NullWritable> {

    //使用无参和带参构造调用goodStream和badStream

    private FSDataOutputStream goodStream;

    private FSDataOutputStream badStream;

    public MyRecordWriter() {

    }

    public MyRecordWriter(FSDataOutputStream goodStream, FSDataOutputStream badStream) {

        this.goodStream = goodStream;

        this.badStream = badStream;

    }

    /**

     * 这个write方法就是往外写出去数据

     *

     * @param key   可以根据这个key，来判断文件究竟往哪个目录下写

     * @param value

     * @throws IOException

     * @throws InterruptedException

     */

    @Override

    public void write(Text key, NullWritable value) throws IOException, InterruptedException {

        //分割导入的数据

        String[] split = key.toString().split("\t");

        //获取评论状态    0：好评    1：中评    2：差评;

        //判断评论状态,如果小于等于1则写到好评文件中，否则写到差评文件中

        if (Integer.parseInt(split[9]) <= 1) {

            goodStream.write(key.toString().getBytes());

            goodStream.write("\r\n".getBytes());

        } else {

            badStream.write(key.toString().getBytes());

            badStream.write("\r\n".getBytes());

        }

    }

    @Override

    public void close(TaskAttemptContext taskAttemptContext) throws IOException, InterruptedException {

        IOUtils.closeStream(goodStream);

        IOUtils.closeStream(badStream);

    }

}

定义一个Mapper类

package cn.itcast.demo4;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.NullWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

public class MyOutputMapper extends Mapper<LongWritable, Text, Text, NullWritable> {

    @Override

    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

        context.write(value, NullWritable.get());

    }

}

程序main函数入口

package cn.itcast.demo4;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.conf.Configured;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.NullWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;

import org.apache.hadoop.util.Tool;

import org.apache.hadoop.util.ToolRunner;

public class MyOutputMain extends Configured implements Tool {

    @Override

    public int run(String[] args) throws Exception {

        //创建job对象

        Job job = Job.getInstance(super.getConf(), "OutputFormat");

        //输入数据，设置输入路径

        job.setInputFormatClass(TextInputFormat.class);

        TextInputFormat.setInputPaths(job, new Path("file:////Volumes/赵壮备份/大数据离线课程资料/5.大数据离线第五天/自定义outputformat/input/ordercomment.csv"));

        //自定义map逻辑

        job.setMapperClass(MyOutputMapper.class);

        //设置k2,v2输出类型

        job.setMapOutputKeyClass(Text.class);

        job.setMapOutputValueClass(NullWritable.class);

        //输出数据，设置输出路径，这里的输出路径不是真正的输出路径

        job.setOutputFormatClass(MyOutputFormat.class);

        MyOutputFormat.setOutputPath(job, new Path("file:////Volumes/赵壮备份/大数据离线课程资料/5.大数据离线第五天/自定义outputformat/output"));

        //提交任务至集群

        boolean b = job.waitForCompletion(true);

        return b ? 0 : 1;

    }

    public static void main(String[] args) throws Exception {

        int run = ToolRunner.run(new Configuration(), new MyOutputMain(), args);

        System.exit(run);

    }

}

【Hadoop离线基础总结】MapReduce自定义InputFormat和OutputFormat案例的更多相关文章

  1. MapReduce自定义InputFormat和OutputFormat

    一.自定义InputFormat 需求:将多个小文件合并为SequenceFile(存储了多个小文件) 存储格式:文件路径+文件的内容 c:/a.txt I love Beijing c:/b.txt ...

  2. 自定义InputFormat和OutputFormat案例

    一.自定义InputFormat InputFormat是输入流,在前面的例子中使用的是文件输入输出流FileInputFormat和FileOutputFormat,而FileInputFormat ...

  3. 【Hadoop离线基础总结】Hue的简单介绍和安装部署

    目录 Hue的简单介绍 概述 核心功能 安装部署 下载Hue的压缩包并上传到linux解压 编译安装启动 启动Hue进程 hue与其他框架的集成 Hue与Hadoop集成 Hue与Hive集成 Hue ...

  4. 【Hadoop离线基础总结】oozie的安装部署与使用

    目录 简单介绍 概述 架构 安装部署 1.修改core-site.xml 2.上传oozie的安装包并解压 3.解压hadooplibs到与oozie平行的目录 4.创建libext目录,并拷贝依赖包 ...

  5. 【Hadoop离线基础总结】impala简单介绍及安装部署

    目录 impala的简单介绍 概述 优点 缺点 impala和Hive的关系 impala如何和CDH一起工作 impala的架构及查询计划 impala/hive/spark 对比 impala的安 ...

  6. 【Hadoop离线基础总结】Hive调优手段

    Hive调优手段 最常用的调优手段 Fetch抓取 MapJoin 分区裁剪 列裁剪 控制map个数以及reduce个数 JVM重用 数据压缩 Fetch的抓取 出现原因 Hive中对某些情况的查询不 ...

  7. 【Hadoop离线基础总结】流量日志分析网站整体架构模块开发

    目录 数据仓库设计 维度建模概述 维度建模的三种模式 本项目中数据仓库的设计 ETL开发 创建ODS层数据表 导入ODS层数据 生成ODS层明细宽表 统计分析开发 流量分析 受访分析 访客visit分 ...

  8. 【Hadoop离线基础总结】Sqoop常用命令及参数

    目录 常用命令 常用公用参数 公用参数:数据库连接 公用参数:import 公用参数:export 公用参数:hive 常用命令&参数 从关系表导入--import 导出到关系表--expor ...

  9. 【Hadoop离线基础总结】Sqoop数据迁移

    目录 Sqoop介绍 概述 版本 Sqoop安装及使用 Sqoop安装 Sqoop数据导入 导入关系表到Hive已有表中 导入关系表到Hive(自动创建Hive表) 将关系表子集导入到HDFS中 sq ...

随机推荐

  1. Crossing River POJ过河问题

    A group of N people wishes to go across a river with only one boat, which can at most carry two pers ...

  2. mysql datetime类型 按格式在页面输出

    mysql datetime类型对应java Date类型   java.util.Date类型会显示时间戳 java.sql.Date 只显示年月日不显示时分秒 只需要重写get方法 就能按格式输出 ...

  3. CSS 中的伪类和伪元素

    伪类(Pseudo classes) 由于状态的变化是非静态的,所以元素达到一个特定状态时,它可能得到一个伪类的样式:当状态改变时,它又会失去这个样式.由此可以看出,它的功能和 class 有些类似, ...

  4. Mysql基础练习--实例

    修改字段名:alter table 表名 change 旧字段名 新字段名 新数据类型;--- 主键 ------------------------------------------------- ...

  5. 如何保证kafka消息不丢失

    背景 这里的kafka值得是broker,broker消息丢失的边界需要对齐一下: 1 已经提交的消息 2 有限度的持久化 如果消息没提交成功,并不是broke丢失了消息: 有限度的持久化(broke ...

  6. 使用openmp进行共享内存编程

    预处理指令pragma:在系统中加入预处理器指令一般是用来允许不是基本c语言规范部分的行为.不支持pragma的编译器会忽略pragma指令提示的那些语句,这样就允许使用pragma的程序在不支持它们 ...

  7. thinkphp 5 一些常见问题

    ##  请求缓存 request_cache        

  8. Node 接入阿里云实现短信验证码

    本文介绍在案例云开通短信服务的流程以及在Node项目中使用的方法. 一.开通阿里云短信服务 登陆阿里云,然后进入 https://dysms.console.aliyun.com/dysms.htm  ...

  9. java stream中Collectors的用法

    目录 简介 Collectors.toList() Collectors.toSet() Collectors.toCollection() Collectors.toMap() Collectors ...

  10. 实现QQ内打开链接跳转至浏览器

    经常遇到域名拦截的问题,不管是QQ还是微信在移动端如果打开被拦截是件很麻烦的事情. 那么,你怎样才能有效地避免这个问题呢?很多站长说域名可以抵御拦截?但是你有没有想过域名拦截的机制是什么? <? ...