eclipse 配置mapreduce环境出错
初学mapreduce,想在eclipse上配置mapreduce的环境,网上之类的教程,很多但是按照教程配之后,并不能正常运行。
碰到下面的错误:
15/10/17 20:10:39 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=
15/10/17 20:10:39 WARN mapred.JobClient: No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
15/10/17 20:10:40 INFO input.FileInputFormat: Total input paths to process : 2
15/10/17 20:10:40 INFO mapred.JobClient: Running job: job_local_0001
15/10/17 20:10:40 INFO input.FileInputFormat: Total input paths to process : 2
15/10/17 20:10:41 INFO mapred.MapTask: io.sort.mb = 100
15/10/17 20:10:41 INFO mapred.MapTask: data buffer = 79691776/99614720
15/10/17 20:10:41 INFO mapred.MapTask: record buffer = 262144/327680
15/10/17 20:10:41 INFO mapred.MapTask: Starting flush of map output
15/10/17 20:10:41 INFO mapred.MapTask: Finished spill 0
15/10/17 20:10:41 INFO mapred.TaskRunner: Task:attempt_local_0001_m_000000_0 is done. And is in the process of commiting
15/10/17 20:10:41 INFO mapred.LocalJobRunner: 
15/10/17 20:10:41 INFO mapred.TaskRunner: Task 'attempt_local_0001_m_000000_0' done.
15/10/17 20:10:41 INFO mapred.MapTask: io.sort.mb = 100
15/10/17 20:10:41 INFO mapred.MapTask: data buffer = 79691776/99614720
15/10/17 20:10:41 INFO mapred.MapTask: record buffer = 262144/327680
15/10/17 20:10:41 INFO mapred.MapTask: Starting flush of map output
15/10/17 20:10:41 INFO mapred.MapTask: Finished spill 0
15/10/17 20:10:41 INFO mapred.TaskRunner: Task:attempt_local_0001_m_000001_0 is done. And is in the process of commiting
15/10/17 20:10:41 INFO mapred.LocalJobRunner: 
15/10/17 20:10:41 INFO mapred.TaskRunner: Task 'attempt_local_0001_m_000001_0' done.
15/10/17 20:10:41 INFO mapred.LocalJobRunner: 
15/10/17 20:10:41 INFO mapred.Merger: Merging 2 sorted segments
15/10/17 20:10:41 INFO mapred.Merger: Down to the last merge-pass, with 2 segments left of total size: 52 bytes
15/10/17 20:10:41 INFO mapred.LocalJobRunner: 
15/10/17 20:10:41 INFO mapred.JobClient:  map 100% reduce 0%
15/10/17 20:10:42 INFO mapred.TaskRunner: Task:attempt_local_0001_r_000000_0 is done. And is in the process of commiting
15/10/17 20:10:42 INFO mapred.LocalJobRunner: 
15/10/17 20:10:42 INFO mapred.TaskRunner: Task attempt_local_0001_r_000000_0 is allowed to commit now
15/10/17 20:10:42 INFO output.FileOutputCommitter: Saved output of task 'attempt_local_0001_r_000000_0' to hdfs://master:9000/user/hadoop/out99
15/10/17 20:10:42 INFO mapred.LocalJobRunner: reduce > reduce
15/10/17 20:10:42 INFO mapred.TaskRunner: Task 'attempt_local_0001_r_000000_0' done.
15/10/17 20:10:42 INFO mapred.JobClient:  map 100% reduce 100%
15/10/17 20:10:42 INFO mapred.JobClient: Job complete: job_local_0001
15/10/17 20:10:42 INFO mapred.JobClient: Counters: 14
15/10/17 20:10:42 INFO mapred.JobClient:   FileSystemCounters
15/10/17 20:10:42 INFO mapred.JobClient:     FILE_BYTES_READ=50343
15/10/17 20:10:42 INFO mapred.JobClient:     HDFS_BYTES_READ=59
15/10/17 20:10:42 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=102356
15/10/17 20:10:42 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=24
15/10/17 20:10:42 INFO mapred.JobClient:   Map-Reduce Framework
15/10/17 20:10:42 INFO mapred.JobClient:     Reduce input groups=3
15/10/17 20:10:42 INFO mapred.JobClient:     Combine output records=4
15/10/17 20:10:42 INFO mapred.JobClient:     Map input records=2
15/10/17 20:10:42 INFO mapred.JobClient:     Reduce shuffle bytes=0
15/10/17 20:10:42 INFO mapred.JobClient:     Reduce output records=3
15/10/17 20:10:42 INFO mapred.JobClient:     Spilled Records=8
15/10/17 20:10:42 INFO mapred.JobClient:     Map output bytes=40
15/10/17 20:10:42 INFO mapred.JobClient:     Combine input records=4
15/10/17 20:10:42 INFO mapred.JobClient:     Map output records=4
15/10/17 20:10:42 INFO mapred.JobClient:     Reduce input records=4
运行程序为hadoop自带的WordCount.java源代码
1.在WordCount.java上右键导出jar文件到工程的根目录下。
2.将导出的wordcount.jar文件,右键加入到buildpath。
3.在源代码中加入
..................
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
conf.set("mapred.job.tracker", "192.168.2.1:9001");
String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
if (otherArgs.length != 2) {
System.err.println("Usage: wordcount <in> <out>");
System.exit(2);
}
Job job = new Job(conf, "word count");
job.setJarByClass(WordCount.class);
job.setMapperClass(TokenizerMapper.class);
job.setCombinerClass(IntSumReducer.class);
job.setReducerClass(IntSumReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
.....................
eclipse 配置mapreduce环境出错的更多相关文章
- 09 eclipse配置maven环境
		
eclipse配置maven环境 一.打开eclipse:Window>>Preferences: 二.搜索:"maven",然后点击:"Installati ...
 - eclipse配置javaee环境
		
笔者开发javaee项目时惯用myeclipse,但由于个人笔记本性能较低,myeclipse对内存的消耗极大,所以考虑换成eclipse开发.本文介绍eclipse配置javaee开发环境的一些体会 ...
 - Eclipse配置maven环境
		
一.什么是maven? Maven是一个项目管理工具,它包含了一个项目对象模型 (Project Object Model),一组标准集合,一个项目生命周期(Project Lifecycle),一个 ...
 - Java归去来第1集:手动给Eclipse配置Maven环境
		
一.Eclipse配置Maven 1.1.下载Maven http://maven.apache.org/download.cgi,选择对应的版本,window下载apache-maven-3.5.3 ...
 - eclipse 配置python环境 json 插件
		
windows->install new software add 配置python 环境: name:pydev(可随意写) url:http://pydev.org/updates/ (如果 ...
 - Eclipse配置maven环境1
		
一.什么是maven? Maven是一个项目管理工具,它包含了一个项目对象模型 (Project Object Model),一组标准集合,一个项目生命周期(Project Lifecycle),一个 ...
 - ubuntu安装eclipse配置jdk环境
		
$ sudo mkdir /usr/local/java //在此目录下新建一个文件夹java $ sudo mv 下载/jdk-8u111-linux-i586.tar.gz /usr/local/ ...
 - 【安装eclipse, 配置java环境教程】 编写第一个java程序
		
写java通常用eclipse编写,还有一款编辑器比较流行叫IJ.这里我们只说下eclipse编写java的前期工作. 在安装eclipse之前要下载java的sdk文件,即java SE:否则无法运 ...
 - Ubuntu下的eclipse配置MapReduce
		
下载配置文件: 链接:https://pan.baidu.com/s/13vatPHpDP5HaW0mKuHydUA提取码:pjxi 1)启动hadoop cd /usr/local/hadoop . ...
 
随机推荐
- ASP.NET MVC5实现伪静态
			
目录 1.什么是伪静态?为什么要实现伪静态? 2.实现APS.NET MVC伪静态的方式有哪些? 3.那么如何实现使用ASP.NET MVC5的伪静态呢? (1)在路由注册中启用特性路由 (2)为需要 ...
 - await使用中的阻塞和并发(二)
			
本文继续上篇未完成的讨论,通过将Lambda还原成最普通的代码段,来解释上篇提出的疑问.并更正上篇中一些不太正确的写法.最后会给出无需等待Async方法返回值时,对Async方法使用await的建议, ...
 - linux 使用内存作为 /tmp 临时文件夹
			
方法一:cat /etc/fstabtmpfs /tmp tmpfs defaults,noatime,mode=1777 0 0 方法二:mount tmpfs /tmp -t tmpfs -o s ...
 - 3D-2D:PnP
			
PnP(Perspective-n-Point):当知道n个3D空间点及其投影位置时,估计相机位姿. 2D-2D的对极几何方法需要八个或八个以上的点对(以八点法为例),且存在着初始化.纯旋转和尺度的问 ...
 - 注解中用于@target的方法annotation/--ElementType.METHOD,ElementType.TYPE对应方法,类接
			
@Target: @Target说明了Annotation所修饰的对象范围:Annotation可被用于 packages.types(类.接口.枚举.Annotation类型).类型成员(方法.构造 ...
 - spring-boot打包,引入外部jar包问题
			
这是我引入的外部jar包,打包的时候找不到外部jar包路径 弄了好久 在lib下引入外部jar包,运行没问题,但是打包是出现问题了,具体解决办法 再pom中加入如下配置,告诉maven导入本地jar ...
 - Java网络编程以及简单的聊天程序
			
网络编程技术是互联网技术中的主流编程技术之一,懂的一些基本的操作是非常必要的.这章主要讲解网络编程,UDP和Socket编程,以及使用Socket做一个简单的聊天软件. 全部代码下载:链接 1.网络编 ...
 - win7 下如何安装 Microsoft Web Application Stress Tool
			
Microsoft Web Application Stress Tool是一个简单易用的性能压力测试工具,但因为其诞生的年代较早,在目前的win7系统下运行,会存在一些兼容性的问题,以下是我在实际使 ...
 - 代码 | 自适应大邻域搜索系列之(2) - ALNS算法主逻辑结构解析
			
00 前言 在上一篇推文中,教大家利用了ALNS的lib库求解了一个TSP问题作为实例.不知道你萌把代码跑起来了没有.那么,今天咱们再接再厉.跑完代码以后,小编再给大家深入讲解具体的代码内容.大家快去 ...
 - [性能测试]:内存泄漏以及MAT(Memory Analyzer Tool)工具使用分析
			
一.今天在查看服务器时候,发现内存使用率直接就到99%了, 二.用ps -uaxw查看一下,每个占用内存较多的进程情况: 三,挑出可疑的进程,生成dump文件: jmap -dump:format=b ...