eclipse 配置mapreduce环境出错
初学mapreduce,想在eclipse上配置mapreduce的环境,网上之类的教程,很多但是按照教程配之后,并不能正常运行。
碰到下面的错误:
15/10/17 20:10:39 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=
15/10/17 20:10:39 WARN mapred.JobClient: No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
15/10/17 20:10:40 INFO input.FileInputFormat: Total input paths to process : 2
15/10/17 20:10:40 INFO mapred.JobClient: Running job: job_local_0001
15/10/17 20:10:40 INFO input.FileInputFormat: Total input paths to process : 2
15/10/17 20:10:41 INFO mapred.MapTask: io.sort.mb = 100
15/10/17 20:10:41 INFO mapred.MapTask: data buffer = 79691776/99614720
15/10/17 20:10:41 INFO mapred.MapTask: record buffer = 262144/327680
15/10/17 20:10:41 INFO mapred.MapTask: Starting flush of map output
15/10/17 20:10:41 INFO mapred.MapTask: Finished spill 0
15/10/17 20:10:41 INFO mapred.TaskRunner: Task:attempt_local_0001_m_000000_0 is done. And is in the process of commiting
15/10/17 20:10:41 INFO mapred.LocalJobRunner: 
15/10/17 20:10:41 INFO mapred.TaskRunner: Task 'attempt_local_0001_m_000000_0' done.
15/10/17 20:10:41 INFO mapred.MapTask: io.sort.mb = 100
15/10/17 20:10:41 INFO mapred.MapTask: data buffer = 79691776/99614720
15/10/17 20:10:41 INFO mapred.MapTask: record buffer = 262144/327680
15/10/17 20:10:41 INFO mapred.MapTask: Starting flush of map output
15/10/17 20:10:41 INFO mapred.MapTask: Finished spill 0
15/10/17 20:10:41 INFO mapred.TaskRunner: Task:attempt_local_0001_m_000001_0 is done. And is in the process of commiting
15/10/17 20:10:41 INFO mapred.LocalJobRunner: 
15/10/17 20:10:41 INFO mapred.TaskRunner: Task 'attempt_local_0001_m_000001_0' done.
15/10/17 20:10:41 INFO mapred.LocalJobRunner: 
15/10/17 20:10:41 INFO mapred.Merger: Merging 2 sorted segments
15/10/17 20:10:41 INFO mapred.Merger: Down to the last merge-pass, with 2 segments left of total size: 52 bytes
15/10/17 20:10:41 INFO mapred.LocalJobRunner: 
15/10/17 20:10:41 INFO mapred.JobClient:  map 100% reduce 0%
15/10/17 20:10:42 INFO mapred.TaskRunner: Task:attempt_local_0001_r_000000_0 is done. And is in the process of commiting
15/10/17 20:10:42 INFO mapred.LocalJobRunner: 
15/10/17 20:10:42 INFO mapred.TaskRunner: Task attempt_local_0001_r_000000_0 is allowed to commit now
15/10/17 20:10:42 INFO output.FileOutputCommitter: Saved output of task 'attempt_local_0001_r_000000_0' to hdfs://master:9000/user/hadoop/out99
15/10/17 20:10:42 INFO mapred.LocalJobRunner: reduce > reduce
15/10/17 20:10:42 INFO mapred.TaskRunner: Task 'attempt_local_0001_r_000000_0' done.
15/10/17 20:10:42 INFO mapred.JobClient:  map 100% reduce 100%
15/10/17 20:10:42 INFO mapred.JobClient: Job complete: job_local_0001
15/10/17 20:10:42 INFO mapred.JobClient: Counters: 14
15/10/17 20:10:42 INFO mapred.JobClient:   FileSystemCounters
15/10/17 20:10:42 INFO mapred.JobClient:     FILE_BYTES_READ=50343
15/10/17 20:10:42 INFO mapred.JobClient:     HDFS_BYTES_READ=59
15/10/17 20:10:42 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=102356
15/10/17 20:10:42 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=24
15/10/17 20:10:42 INFO mapred.JobClient:   Map-Reduce Framework
15/10/17 20:10:42 INFO mapred.JobClient:     Reduce input groups=3
15/10/17 20:10:42 INFO mapred.JobClient:     Combine output records=4
15/10/17 20:10:42 INFO mapred.JobClient:     Map input records=2
15/10/17 20:10:42 INFO mapred.JobClient:     Reduce shuffle bytes=0
15/10/17 20:10:42 INFO mapred.JobClient:     Reduce output records=3
15/10/17 20:10:42 INFO mapred.JobClient:     Spilled Records=8
15/10/17 20:10:42 INFO mapred.JobClient:     Map output bytes=40
15/10/17 20:10:42 INFO mapred.JobClient:     Combine input records=4
15/10/17 20:10:42 INFO mapred.JobClient:     Map output records=4
15/10/17 20:10:42 INFO mapred.JobClient:     Reduce input records=4
运行程序为hadoop自带的WordCount.java源代码
1.在WordCount.java上右键导出jar文件到工程的根目录下。
2.将导出的wordcount.jar文件,右键加入到buildpath。
3.在源代码中加入
..................
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
conf.set("mapred.job.tracker", "192.168.2.1:9001");
String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
if (otherArgs.length != 2) {
System.err.println("Usage: wordcount <in> <out>");
System.exit(2);
}
Job job = new Job(conf, "word count");
job.setJarByClass(WordCount.class);
job.setMapperClass(TokenizerMapper.class);
job.setCombinerClass(IntSumReducer.class);
job.setReducerClass(IntSumReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
.....................
eclipse 配置mapreduce环境出错的更多相关文章
- 09 eclipse配置maven环境
		eclipse配置maven环境 一.打开eclipse:Window>>Preferences: 二.搜索:"maven",然后点击:"Installati ... 
- eclipse配置javaee环境
		笔者开发javaee项目时惯用myeclipse,但由于个人笔记本性能较低,myeclipse对内存的消耗极大,所以考虑换成eclipse开发.本文介绍eclipse配置javaee开发环境的一些体会 ... 
- Eclipse配置maven环境
		一.什么是maven? Maven是一个项目管理工具,它包含了一个项目对象模型 (Project Object Model),一组标准集合,一个项目生命周期(Project Lifecycle),一个 ... 
- Java归去来第1集:手动给Eclipse配置Maven环境
		一.Eclipse配置Maven 1.1.下载Maven http://maven.apache.org/download.cgi,选择对应的版本,window下载apache-maven-3.5.3 ... 
- eclipse 配置python环境 json 插件
		windows->install new software add 配置python 环境: name:pydev(可随意写) url:http://pydev.org/updates/ (如果 ... 
- Eclipse配置maven环境1
		一.什么是maven? Maven是一个项目管理工具,它包含了一个项目对象模型 (Project Object Model),一组标准集合,一个项目生命周期(Project Lifecycle),一个 ... 
- ubuntu安装eclipse配置jdk环境
		$ sudo mkdir /usr/local/java //在此目录下新建一个文件夹java $ sudo mv 下载/jdk-8u111-linux-i586.tar.gz /usr/local/ ... 
- 【安装eclipse, 配置java环境教程】 编写第一个java程序
		写java通常用eclipse编写,还有一款编辑器比较流行叫IJ.这里我们只说下eclipse编写java的前期工作. 在安装eclipse之前要下载java的sdk文件,即java SE:否则无法运 ... 
- Ubuntu下的eclipse配置MapReduce
		下载配置文件: 链接:https://pan.baidu.com/s/13vatPHpDP5HaW0mKuHydUA提取码:pjxi 1)启动hadoop cd /usr/local/hadoop . ... 
随机推荐
- Hibernate 之HQL数据查询
			1. HQL简介 HQL是面向对象的查询语言,与SQL查询语言相比,虽然在语法上类似,都是运行时进行解析,但HQL并不像SQL那样操作的是数据表,列等数据库对象,HQL所操作的对象是类,对象,属性等. ... 
- solr-DIH:定时增量索引
			参考:官方文档,http://wiki.apache.org/solr/DataImportHandler#Scheduling googlecode 找到:https://code.google.c ... 
- Linux 连接数过多排查思路
			## 在连接数报警的机器上,查看某个端口tcp连接来源,并排序 netstat -natl |grep ^tcp |grep ":2181" |awk '{print $5}'|a ... 
- Python 定制类 特殊方法
			1.特殊方法 定义在class中 不需要直接调用,python的某些函数或操作符会自动的调用对应的特殊方法. 如定义了person类,使用print p 语句打印person类的实例时,就调用了特殊方 ... 
- .net后台转json数据
			List<PostInfo> list = new List<PostInfo>();PostInfo postinfo = new PostInfo();list.Add(p ... 
- Newtonsoft.Json Deserialize Type  或者 同类型 变量  反序列化
			Newtonsoft.Json 经常再用 这样的需求 还是很少用 场景 方法一:根据 Type 反序列化 ; string jsongString = JsonConvert.SerializeObj ... 
- SoundPool跑套图片
- 微信企业号发送监控消息【php】
			公司这边有做监控异常并将消息发送到企业公众号的功能.大概如下: 定时任务检测异常消息 将消息存入redis队列 定时处理队列异常消息 发送到微信企业号对应的部门组 这里我们来看一下微信发送过程,其他不 ... 
- Bootstrap框架常用总结
			Bootstrap框架常用标签: 标题标签:<h1>-<h6> bootstrap中也设置的相同的样式 - 若要使用 必须使用空标签来定义 比如<s ... 
- Python简单登录密码比对
			# 源于Github的一段源码,编写的比较规范,应该是专业选手! # encoding:utf-8 __author__ = 'www.yeayee.com' # 由本站增加注释,可随意Fork.Co ... 
