hadoop上下文信息获取方法
import java.io.IOException;
import java.net.URI; import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.JobID;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.TaskAttemptID;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser; public class GetIDMapReduce {
public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
Configuration conf = new Configuration();
// String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
if(args.length!=2){
System.err.println("Usage databaseV1 <inputpath> <outputpath>");
} Job job = Job.getInstance(conf, GetIDMapReduce.class.getSimpleName() + "1");
job.setJarByClass(GetIDMapReduce.class);
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(Text.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(NullWritable.class);
job.setMapperClass(MyMapper1.class);
job.setNumReduceTasks(0);
job.setInputFormatClass(TextInputFormat.class);
job.setOutputFormatClass(TextOutputFormat.class);
FileInputFormat.addInputPath(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));
job.waitForCompletion(true);
}
public static class MyMapper1 extends Mapper<LongWritable, Text, Text, NullWritable>{
@Override
protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, NullWritable>.Context context)
throws IOException, InterruptedException { FileSplit fileSplit=(FileSplit) context.getInputSplit();
String pathname=fileSplit.getPath().getName();
JobID jobid=context.getJobID(); //获取jobid
LongWritable keyout=context.getCurrentKey(); //获取key偏移量
Text valueout=context.getCurrentValue(); //获取一行的值
String jobname=context.getJobName(); //获得job名字
TaskAttemptID taskid=context.getTaskAttemptID(); //获得taskid
float progress=context.getProgress(); //获取任务执行进度
String jar = context.getJar(); //作业运行之前,往集群拷贝的作业资源jar
//String status = context.getStatus();
String user = context.getUser(); //获取当前用户
//String[] fileTimestamps = context.getFileTimestamps();
int numReduceTasks = context.getNumReduceTasks(); //获得reduce的数量
//Path[] fileClassPaths = context.getFileClassPaths();
Configuration configuration = context.getConfiguration(); //获得作业配置文件
//RawComparator<?> groupingComparator = context.getGroupingComparator();
boolean jobSetupCleanupNeeded = context.getJobSetupCleanupNeeded(); //Get whether job-setup and job-cleanup is needed for the job
int maxMapAttempts = context.getMaxMapAttempts(); //the max number of attempts per map task
int maxReduceAttempts = context.getMaxReduceAttempts(); //he max number of attempts per reduce task.
//@SuppressWarnings("deprecation")
//Path[] localCacheFiles = context.getLocalCacheFiles();
//OutputCommitter outputCommitter = context.getOutputCommitter();
Path workingDirectory = context.getWorkingDirectory(); //工作目录
boolean nextKeyValue = context.nextKeyValue(); //下一个键值对
//URI[] cacheFiles = context.getCacheFiles();
URI[] cacheArchives = context.getCacheArchives(); //Get cache archives set in the Configuration
Path[] archiveClassPaths = context.getArchiveClassPaths();//Get the archive entries in classpath as an array of Path
boolean profileEnabled = context.getProfileEnabled();//Get whether the task profiling is enabled.
//String profileParams = context.getProfileParams();
@SuppressWarnings("deprecation")
boolean symlink = context.getSymlink();// Originally intended to check if symlinks should be used, but currently symlinks cannot be disabled
//RawComparator<?> sortComparator = context.getSortComparator();
//int hashCode = context.hashCode();
context.write(new Text("===================================================================================="), NullWritable.get());
context.write(new Text("pathname--"+pathname), NullWritable.get());
context.write(new Text("jobid--"+jobid.toString()), NullWritable.get());
context.write(new Text("keyout--"+keyout.toString()), NullWritable.get());
context.write(new Text("keyout--"+valueout), NullWritable.get());
context.write(new Text("jobname--"+jobname), NullWritable.get());
context.write(new Text("taskid--"+taskid.toString()), NullWritable.get());
context.write(new Text("progress--"+progress), NullWritable.get());
context.write(new Text("jar--"+jar.toString()), NullWritable.get());
//context.write(new Text("status--"+status), NullWritable.get());
context.write(new Text("user--"+user), NullWritable.get());
//context.write(new Text("fileTimestamps--"+fileTimestamps), NullWritable.get());
context.write(new Text("numReduceTasks--"+numReduceTasks), NullWritable.get());
//context.write(new Text("fileClassPaths--"+fileClassPaths), NullWritable.get());
context.write(new Text("configuration--"+configuration), NullWritable.get());
//context.write(new Text("groupingComparator--"+groupingComparator), NullWritable.get());
context.write(new Text("jobSetupCleanupNeeded--"+jobSetupCleanupNeeded), NullWritable.get());
context.write(new Text("maxMapAttempts--"+maxMapAttempts), NullWritable.get());
context.write(new Text("maxReduceAttempts--"+maxReduceAttempts), NullWritable.get());
//context.write(new Text("localCacheFiles--"+localCacheFiles), NullWritable.get());
//context.write(new Text("outputCommitter--"+outputCommitter), NullWritable.get());
context.write(new Text("workingDirectory--"+workingDirectory), NullWritable.get());
context.write(new Text("nextKeyValue--"+nextKeyValue), NullWritable.get());
//context.write(new Text("cacheFiles--"+cacheFiles), NullWritable.get());
context.write(new Text("cacheArchives--"+cacheArchives), NullWritable.get());
context.write(new Text("archiveClassPaths--"+archiveClassPaths), NullWritable.get());
context.write(new Text("profileEnabled--"+profileEnabled), NullWritable.get());
//context.write(new Text("profileParams--"+profileParams), NullWritable.get());
context.write(new Text("symlink--"+symlink), NullWritable.get());
//context.write(new Text("sortComparator--"+sortComparator), NullWritable.get());
//context.write(new Text("hashCode--"+hashCode), NullWritable.get());
}
}
}
注:并非原著,备注下来方便后面自己查看
hadoop上下文信息获取方法的更多相关文章
- spring上下文快速获取方法
import org.springframework.beans.BeansException;import org.springframework.context.ApplicationContex ...
- JavaScript获取客户端计算机硬件及系统等信息的方法
JavaScript获取客户端计算机硬件及系统等信息的方法 JavaScript 获取客户端计算机硬件及系统信息 通过WMI来实现获取客户端计算机硬件及系统信息: function getSysInf ...
- AspectJ获取方法注解的信息
在使用Aspectj获取方法注解信息的时候,可以使用下面的代码片段: /** * Get value of annotated method parameter */ private <T ex ...
- PHP获取http头信息和CI中获取HTTP头信息的方法
CI中获取HTTP头信息的方法: $this->input->request_headers() 在不支持apache_request_headers()的非Apache环境非常有用.返回 ...
- Request获取url各种信息的方法
1.Request获取url各种信息的方法 测试的url地址:http://www.test.com/testweb/default.aspx, 结果如下: Request.ApplicationPa ...
- Oracle 和 SQLSERVER 重新获取统计信息的方法
1. Oracle 重新获取统计信息的命令 exec dbms_stats.gather_schema_stats(ownname =>) # 需要修改 ownername options 指定 ...
- httpclient接口测试完整用例以及获取信息的方法
原文地址https://blog.csdn.net/fhaohaizi/article/details/78088075 原文地址https://blog.csdn.net/fhaohaizi/art ...
- java反射子之获取方法信息(二)
一.获取方法 1.方法作用. 2. 二.获取方法信息.(修饰符,返回值,方法名称,参数列表,抛出的异常). ############################################## ...
- laravel中单独获取一个错误信息的方法
获取单独的错误信息的方法
随机推荐
- ELMo解读(论文 + PyTorch源码)
ELMo的概念也是很早就出了,应该是18年初的事情了.但我仍然是后知后觉,居然还是等BERT出来很久之后,才知道有这么个东西.这两天才仔细看了下论文和源码,在这里做一些记录,如果有不详实的地方,欢迎指 ...
- hdu 4063 Aircraft (Geometry + SP)
Problem - 4063 几何加简单最短路. 题意是给出若干圆的圆心以及半径,求出从给出的起点到终点的最短路径的长度,可以移动的区域是圆覆盖到的任意一个位置. 做法是这样的,对圆两两求交点,用这些 ...
- 关于心跳ajax请求pending状态(被挂起),stalled时间过长的问题。涉及tcp连接异常。
环境:景安快云服务器(听说很垃圾,但是公司买的,我也刚来),CentOS-6.8-x86_64,Apache,MySQL5.1,PHP5.3. 问题:现公司有一个php系统,需要重复向后台发送ajax ...
- 【原生JS】制作网页头部刷新进度条
之前的某次番啬看到油管上有这么一个进度条,当时觉得挺好玩,一直想着做一个试试,刚才弄了一下写了一个不算太好看的简陋版本,哈哈. (本博客刷新会头部会出现,因为并没有真正的参与到浏览器加载是否完整这个渲 ...
- Java自动生成testcase
package com.citi.sl.tlc.services.tlc.collateralDataProcess.util; import java.io.BufferedWriter; impo ...
- java分配内存空间
分配内存空间 数组名=new 数据类型[数组长度]: new关键字用来实现为数组或对象分配内存 (堆内存) 数组具有固定的长度.获取数组的长度: 数组名.length 定义数组+分配内存空间 数据类型 ...
- webpack优化 -- compression-webpack-plugin 开启gzip
webpack优化 -- compression-webpack-plugin 开启gzip 打包的时候开启gzip可以大大减少体积,非常适合于上线部署.下面以vue-cli2.x项目为例,介绍如何在 ...
- 分布式全局唯一ID
方案一.UUID UUID的方式能生成一串唯一随机32位长度数据,它是无序的一串数据,按照开放软件基金会(OSF)制定的标准计算,UUID的生成用到了以太网卡地址.纳秒级时间.芯片ID码和许多可能的数 ...
- MySQL——修改视图
修改视图是指修改数据库中存在的视图,当基本表的某些字段发生变化时,可以通过修改视图来保持与基本表的一致性. 1. 用 CREATE OR REPLACE VIEW 语句修改视图 语法格式 ...
- JSON怎样添加注释
今天在写一个程序的时候发现了一个问题,在json文件中添加注释之后,程序就出现bug了 于是,去搜了一下这个问题的相关解释,在这里和大家分享一下: JSON为什么不能添加注释? 这位外国友人给出的解释 ...