hadoop多文件格式输入

版本号：

CDH5.0.0 （hdfs:2.3。mapreduce：2.3，yarn：2.3）

hadoop多文件格式输入，一般能够使用MultipleInputs类指定不同的输入文件路径以及输入文件格式。

比方如今有例如以下的需求：

现有两份数据：

phone：

123,good number

124,common number

125,bad number

user：

zhangsan,123

lisi,124

wangwu,125

如今须要把user和phone依照phone number连接起来，得到以下的结果：

zhangsan,123,good number

lisi,124,common number

wangwu,125,bad number

那么就能够使用MultipleInputs来操作，这里把user和phone上传到hdfs文件夹中，各自是/multiple/user/user , /multiple/phone/phone。

设计的MultipleDriver例如以下：

package multiple.input;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.conf.Configured;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.NullWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.lib.input.MultipleInputs;

import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import org.apache.hadoop.util.Tool;

import org.apache.hadoop.util.ToolRunner;

//import org.slf4j.Logger;

//import org.slf4j.LoggerFactory;

/**

 * input1(/multiple/user/user):

 * username,user_phone

 *

 * input2(/multiple/phone/phone):

 *  user_phone,description

 *

 * output: username,user_phone,description

 *

 * @author fansy

 *

 */

public class MultipleDriver extends Configured implements Tool{

//	private  Logger log = LoggerFactory.getLogger(MultipleDriver.class);

	private String input1=null;

	private String input2=null;

	private String output=null;

	private String delimiter=null;

	public static void main(String[] args) throws Exception {

		Configuration conf=new Configuration();

//		conf.set("fs.defaultFS", "hdfs://node33:8020");

//        conf.set("mapreduce.framework.name", "yarn");

//        conf.set("yarn.resourcemanager.address", "node33:8032"); 

		ToolRunner.run(conf, new MultipleDriver(), args);

	}

	@Override

	public int run(String[] arg0) throws Exception {

		configureArgs(arg0);

		checkArgs();

		Configuration conf= getConf();

		conf.set("delimiter", delimiter);

		 @SuppressWarnings("deprecation")

		Job job = new Job(conf, "merge user and phone information ");

        job.setJarByClass(MultipleDriver.class);

        job.setReducerClass(MultipleReducer.class);

        job.setMapOutputKeyClass(Text.class);

        job.setMapOutputValueClass(FlagStringDataType.class);

        job.setOutputKeyClass(Text.class);

        job.setOutputValueClass(NullWritable.class);

        job.setNumReduceTasks(1);

        MultipleInputs.addInputPath(job, new Path(input1), TextInputFormat.class, Multiple1Mapper.class);

        MultipleInputs.addInputPath(job, new Path(input2), TextInputFormat.class, Multiple2Mapper.class);

        FileOutputFormat.setOutputPath(job, new Path(output));

        int res = job.waitForCompletion(true) ? 0 : 1;

        return res;

	}

	/**

	 * check the args

	 */

	private void checkArgs() {

		if(input1==null||"".equals(input1)){

			System.out.println("no user input...");

			printUsage();

			System.exit(-1);

		}

		if(input2==null||"".equals(input2)){

			System.out.println("no phone input...");

			printUsage();

			System.exit(-1);

		}

		if(output==null||"".equals(output)){

			System.out.println("no output...");

			printUsage();

			System.exit(-1);

		}

		if(delimiter==null||"".equals(delimiter)){

			System.out.println("no delimiter...");

			printUsage();

			System.exit(-1);

		}

	}

	/**

	 * configuration the args

	 * @param args

	 */

	private void configureArgs(String[] args) {

    	for(int i=0;i<args.length;i++){

    		if("-i1".equals(args[i])){

    			input1=args[++i];

    		}

    		if("-i2".equals(args[i])){

    			input2=args[++i];

    		}

    		if("-o".equals(args[i])){

    			output=args[++i];

    		}

    		if("-delimiter".equals(args[i])){

    			delimiter=args[++i];

    		}

    	}

	}

	public static void printUsage(){

    	System.err.println("Usage:");

    	System.err.println("-i1 input \t user data path.");

    	System.err.println("-i2 input \t phone data path.");

    	System.err.println("-o output \t output data path.");

    	System.err.println("-delimiter  data delimiter , default is comma  .");

    }

}

这里指定两个mapper和一个reducer，两个mapper分别相应处理user和phone的数据，分别例如以下：

mapper1（处理user数据）：

package multiple.input;

import java.io.IOException;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Mapper;

import org.slf4j.Logger;

import org.slf4j.LoggerFactory;

/**

 * input :

 * username,phone

 *

 * output:

 * <key,value>  --> <[phone],[0,username]>

 * @author fansy

 *

 */

public class Multiple1Mapper extends Mapper<LongWritable,Text,Text,FlagStringDataType>{

	private  Logger log = LoggerFactory.getLogger(Multiple1Mapper.class);

	private String delimiter=null; // default is comma

	@Override

	public void setup(Context cxt){

		delimiter= cxt.getConfiguration().get("delimiter", ",");

		log.info("This is the begin of Multiple1Mapper");

	} 

	@Override

	public void map(LongWritable key,Text value,Context cxt) throws IOException,InterruptedException{

		String info= new String(value.getBytes(),"UTF-8");

		String[] values = info.split(delimiter);

		if(values.length!=2){

			return;

		}

		log.info("key-->"+values[1]+"=========value-->"+"[0,"+values[0]+"]");

		cxt.write(new Text(values[1]), new FlagStringDataType(0,values[0]));

	}

}

mapper2（处理phone数据）：

package multiple.input;

import java.io.IOException;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Mapper;

import org.slf4j.Logger;

import org.slf4j.LoggerFactory;

/**

 * input :

 * phone,description

 *

 * output:

 * <key,value>  --> <[phone],[1,description]>

 * @author fansy

 *

 */

public class Multiple2Mapper extends Mapper<LongWritable,Text,Text,FlagStringDataType>{

	private  Logger log = LoggerFactory.getLogger(Multiple2Mapper.class);

	private String delimiter=null; // default is comma

	@Override

	public void setup(Context cxt){

		delimiter= cxt.getConfiguration().get("delimiter", ",");

		log.info("This is the begin of Multiple2Mapper");

	} 

	@Override

	public void map(LongWritable key,Text value,Context cxt) throws IOException,InterruptedException{

		String[] values= value.toString().split(delimiter);

		if(values.length!=2){

			return;

		}

		log.info("key-->"+values[0]+"=========value-->"+"[1,"+values[1]+"]");

		cxt.write(new Text(values[0]), new FlagStringDataType(1,values[1]));

	}

}

这里的FlagStringDataType是自己定义的：

package multiple.input;

import java.io.DataInput;

import java.io.DataOutput;

import java.io.IOException;

import org.apache.hadoop.io.WritableComparable;

import org.slf4j.Logger;

import org.slf4j.LoggerFactory;

import com.google.common.primitives.Ints;

public class FlagStringDataType implements WritableComparable<FlagStringDataType> {

	private  Logger log = LoggerFactory.getLogger(FlagStringDataType.class);

  private String value;

  private int flag;

  public FlagStringDataType() {

  }

  public FlagStringDataType(int flag,String value) {

    this.value = value;

    this.flag=flag;

  }

  public String get() {

    return value;

  }

  public void set(String value) {

    this.value = value;

  }

  @Override

  public boolean equals(Object other) {

    return other != null && getClass().equals(other.getClass())

    		&& ((FlagStringDataType) other).get() == value

    		&&((FlagStringDataType) other).getFlag()==flag;

  }

  @Override

  public int hashCode() {

    return Ints.hashCode(flag)+value.hashCode();

  }

  @Override

  public int compareTo(FlagStringDataType other) {

    if (flag >= other.flag) {

      if (flag > other.flag) {

        return 1;

      }

    } else {

      return -1;

    }

    return value.compareTo(other.value);

  }

  @Override

  public void write(DataOutput out) throws IOException {

	log.info("in write()::"+"flag:"+flag+",vlaue:"+value);

    out.writeInt(flag);

    out.writeUTF(value);

  }

  @Override

  public void readFields(DataInput in) throws IOException {

	  log.info("in read()::"+"flag:"+flag+",vlaue:"+value);

	  flag=in.readInt();

	  value = in.readUTF();

	  log.info("in read()::"+"flag:"+flag+",vlaue:"+value);

  }

public int getFlag() {

	return flag;

}

public void setFlag(int flag) {

	this.flag = flag;

}

public String toString(){

	return flag+":"+value;

}

}

这个自己定义类，使用一个flag来指定是哪个数据。而value则相应是其值。

这样做的优点是在reduce端能够依据flag的值来推断其输出位置。这样的设计方式能够对多种输入的整合有非常大帮助，在mahout中也能够看到这样的设计。

reducer（汇总输出数据）：

package multiple.input;

import java.io.IOException;

import org.apache.hadoop.io.NullWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Reducer;

import org.slf4j.Logger;

import org.slf4j.LoggerFactory;

public class MultipleReducer extends Reducer<Text,FlagStringDataType,Text,NullWritable>{

	private  Logger log = LoggerFactory.getLogger(MultipleReducer.class);

	private String delimiter=null; // default is comma

	@Override

	public void setup(Context cxt){

		delimiter= cxt.getConfiguration().get("delimiter", ",");

	}

	@Override

	public void reduce(Text key, Iterable<FlagStringDataType> values,Context cxt) throws IOException,InterruptedException{

		log.info("================");

		log.info("         =======");

		log.info("              ==");

		String[] value= new String[3];

		value[2]=key.toString();

		for(FlagStringDataType v:values){

			int index= v.getFlag();

			log.info("index:"+index+"-->value:"+v.get());

			value[index]= v.get();

		}

		log.info("              ==");

		log.info("         =======");

		log.info("================");

		cxt.write(new Text(value[2]+delimiter+value[0]+delimiter+value[1]),NullWritable.get());

	}

}

这样设计的优点是，能够针对不同的输入数据採取不同的逻辑处理。并且不同的输入数据能够是序列文件的格式。

以下介绍一种方式和上面的比。略有不足。可是能够借鉴。

首先是Driver：

package multiple.input;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.conf.Configured;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.NullWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import org.apache.hadoop.util.Tool;

import org.apache.hadoop.util.ToolRunner;

//import org.slf4j.Logger;

//import org.slf4j.LoggerFactory;

/**

 * input1(/multiple/user/user):

 * username,user_phone

 *

 * input2(/multiple/phone/phone):

 *  user_phone,description

 *

 * output: username,user_phone,description

 *

 * @author fansy

 *

 */

public class MultipleDriver2 extends Configured implements Tool{

//	private  Logger log = LoggerFactory.getLogger(MultipleDriver.class);

	private String input1=null;

	private String input2=null;

	private String output=null;

	private String delimiter=null;

	public static void main(String[] args) throws Exception {

		Configuration conf=new Configuration();

//		conf.set("fs.defaultFS", "hdfs://node33:8020");

//        conf.set("mapreduce.framework.name", "yarn");

//        conf.set("yarn.resourcemanager.address", "node33:8032"); 

		ToolRunner.run(conf, new MultipleDriver2(), args);

	}

	@Override

	public int run(String[] arg0) throws Exception {

		configureArgs(arg0);

		checkArgs();

		Configuration conf= getConf();

		conf.set("delimiter", delimiter);

		 @SuppressWarnings("deprecation")

		Job job = new Job(conf, "merge user and phone information ");

        job.setJarByClass(MultipleDriver2.class);

        job.setMapperClass(MultipleMapper.class);

        job.setReducerClass(MultipleReducer.class);

        job.setMapOutputKeyClass(Text.class);

        job.setMapOutputValueClass(FlagStringDataType.class);

        job.setOutputKeyClass(Text.class);

        job.setOutputValueClass(NullWritable.class);

        job.setNumReduceTasks(1);

        FileInputFormat.addInputPath(job, new Path(input1));

        FileInputFormat.addInputPath(job, new Path(input2));

        FileOutputFormat.setOutputPath(job, new Path(output));

        int res = job.waitForCompletion(true) ? 0 : 1;

        return res;

	}

	/**

	 * check the args

	 */

	private void checkArgs() {

		if(input1==null||"".equals(input1)){

			System.out.println("no user input...");

			printUsage();

			System.exit(-1);

		}

		if(input2==null||"".equals(input2)){

			System.out.println("no phone input...");

			printUsage();

			System.exit(-1);

		}

		if(output==null||"".equals(output)){

			System.out.println("no output...");

			printUsage();

			System.exit(-1);

		}

		if(delimiter==null||"".equals(delimiter)){

			System.out.println("no delimiter...");

			printUsage();

			System.exit(-1);

		}

	}

	/**

	 * configuration the args

	 * @param args

	 */

	private void configureArgs(String[] args) {

    	for(int i=0;i<args.length;i++){

    		if("-i1".equals(args[i])){

    			input1=args[++i];

    		}

    		if("-i2".equals(args[i])){

    			input2=args[++i];

    		}

    		if("-o".equals(args[i])){

    			output=args[++i];

    		}

    		if("-delimiter".equals(args[i])){

    			delimiter=args[++i];

    		}

    	}

	}

	public static void printUsage(){

    	System.err.println("Usage:");

    	System.err.println("-i1 input \t user data path.");

    	System.err.println("-i2 input \t phone data path.");

    	System.err.println("-o output \t output data path.");

    	System.err.println("-delimiter  data delimiter , default is comma  .");

    }

}

这里加入路径直接使用FileInputFormat加入输入路径，这样的话，针对不同的输入数据的不同业务逻辑能够在mapper中先推断眼下正在处理的是那个数据。然后依据其路径来进行相应的业务逻辑处理：

package multiple.input;

import java.io.IOException;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.InputSplit;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.lib.input.FileSplit;

/**

 * input1 :

 * username,phone

 *

 * input2

 * phone,description

 *

 * output:

 * <key,value>  --> <[phone],[0,username]>

 * <key,value>  --> <[phone],[1,description]>

 * @author fansy

 *

 */

public class MultipleMapper extends Mapper<LongWritable,Text,Text,FlagStringDataType>{

	private String delimiter=null; // default is comma

	private boolean flag=false;

	@Override

	public void setup(Context cxt){

		delimiter= cxt.getConfiguration().get("delimiter", ",");

		InputSplit input=cxt.getInputSplit();

	    String filename=((FileSplit) input).getPath().getParent().getName();

	    if("user".equals(filename)){

	    	flag=true;

	    }

	} 

	@Override

	public void map(LongWritable key,Text value,Context cxt) throws IOException,InterruptedException{

		String[] values= value.toString().split(delimiter);

		if(values.length!=2){

			return;

		}

		if(flag){

			cxt.write(new Text(values[1]), new FlagStringDataType(0,values[0]));

		}else{

			cxt.write(new Text(values[0]), new FlagStringDataType(1,values[1]));

		}

	}

}

整体来说。这样的处理方式事实上是不如第一种的，在每一个map函数中都须要进行推断。比第一种多了非常多操作；同一时候。针对不同的序列文件，这样的方式处理不了（Key、value的类型不一样的情况下）。

所以针对多文件格式的输入，不妨使用第一种方式。

分享，成长，快乐

转载请注明blog地址：http://blog.csdn.net/fansy1990

hadoop多文件格式输入的更多相关文章

Hadoop的数据输入的源码解析
我们知道,任何一个工程项目,最重要的是三个部分:输入,中间处理,输出.今天我们来深入的了解一下我们熟知的Hadoop系统中,输入是如何输入的? 在hadoop中,输入数据都是通过对应的InputFor ...
Hadoop MapReduce常用输入输出格式
这里介绍MapReduce常用的几种输入输出格式. 三种常用的输入格式:TextInputFormat , SequenceFileInputFormat , KeyValueInputFormat ...
Fp关联规则算法计算置信度及MapReduce实现思路
说明:參考Mahout FP算法相关相关源代码. 算法project能够在FP关联规则计算置信度下载:(仅仅是单机版的实现,并没有MapReduce的代码) 使用FP关联规则算法计算置信度基于以下的思 ...
浅析Hadoop文件格式
Hadoop 作为MR 的开源实现,一直以动态运行解析文件格式并获得比MPP数据库快上几倍的装载速度为优势.不过,MPP数据库社区也一直批评Hadoop由于文件格式并非为特定目的而建,因此序列化和反序 ...
hadoop 原理：浅析Hadoop文件格式
Hadoop 作为MR 的开源实现,一直以动态运行解析文件格式并获得比MPP数据库快上几倍的装载速度为优势.不过,MPP数据库社区也一直批评Hadoop由于文件格式并非为特定目的而建,因此序列化和反 ...
Hadoop（七）：自定义输入输出格式
MR输入格式概述数据输入格式 InputFormat. 用于描述MR作业的数据输入规范. 输入格式在MR框架中的作用: 文件进行分块(split),1个块就是1个Mapper任务. 从输入分块中将数 ...
初识Hadoop
第一部分: 初识Hadoop 一. 谁说大象不能跳舞业务数据越来越多,用关系型数据库来存储和处理数据越来越感觉吃力,一个查询或者一个导出,要执行很长 ...
Hadoop入门学习笔记---part2
在<Hadoop入门学习笔记---part1>中感觉自己虽然总结的比较详细,但是始终感觉有点凌乱.不够系统化,不够简洁.经过自己的推敲和总结,现在在此处概括性的总结一下,认为在准备搭建ha ...
基于 Hive 的文件格式：RCFile 简介及其应用
转载自:https://my.oschina.net/leejun2005/blog/280896 Hadoop 作为MR 的开源实现,一直以动态运行解析文件格式并获得比MPP数据库快上几倍的装载速度 ...

随机推荐

Mybatis整理_01
Mybatis专题 Mybaits介绍 Mybatis是一个持久化框架,它有不同语言的版本,比如.NET和Java都有Mybatis对应的类库:它有大多数ORM框架都具有的功能,比如自定义的SQL语句 ...
SQL注入详解
SQL是一种将SQL代码添加到输入参数中,传递到SQL服务器解析并执行的一种攻击手段产生的原因 web开发人员无法保证所有输入都已经安全过滤攻击者利用发送给SQL服务器的输入数据,构造可执行的SQ ...
JAVA爬虫代码
工程目录: 所需要的jar包为: jsoup-1.10.2.jar /** * Created by wangzheng on 2017/2/19. */ public class Article ...
canvas画布实现手写签名效果
最近项目中涉及到移动端手写签名的功能需求,将实现代码记录于此,供小伙伴们参考指摘哦~ HTML代码:  <div class="mSign_signMa ...
Java web 引入wangEditor编辑器
最近项目需要我做些前端的事,这让我这个半吊子前端很是痛苦.项目中需要一个编辑器,之前找了个ueditor,插件比较多,需要改源码等等不说,最后弄好了,发现需要flash插件.没办法,只有推到重来,在网 ...
linux 内存大于 jvm xmx
文章来源: http://www.cnblogs.com/guozp/p/7845605.html 1.虽然你jvm参数设置了-Xms6g -Xmx6g,但操作系统不并会马上分配6G的物理内存,而是确 ...
《天书夜读：从汇编语言到windows内核编程》一汇编指令与C语言
1. Debug模式下,VC++6.0下断点运行,按CTRL+F11可查看汇编代码:另外可以用cl /c /FAs YourCppFile.cpp命令行在同目录生成YourCppFile.asm汇编文 ...
Golang源码探索(三) GC的实现原理
Golang从1.5开始引入了三色GC, 经过多次改进, 当前的1.9版本的GC停顿时间已经可以做到极短. 停顿时间的减少意味着"最大响应时间"的缩短, 这也让go更适合编写网络服 ...
Chapter 6: The Memory Hierarchy
Disk Geometry: 磁盘的结构如图,每个面为surface,surface上的同心圆为track,track包含sector,不同的surface的同半径track构成cylinder.越外 ...
【转载】 Java：按值传递还是按引用传递详细解说
前天在做系统的时候被Java中参数传递问题卡了一下,回头查阅了相关的资料,对参数传递问题有了新的了解和掌握,但是有个问题感觉还是很模糊,就是Java中到底是否只存在值传递,因为在查阅资料时,经常看到有 ...

hadoop多文件格式输入

hadoop多文件格式输入的更多相关文章

随机推荐

热门专题