Hadoop学问Eclipse构建Hadoop工程
在此之前的基础Hadoop在官方文件HDFS、MapReduce架构、配置管理是学习,但是,一些地方的官方文件相当含糊的解释。
我们没有发挥人可以体验,某种官方文件似业务规则或要求,但是,真正的细节还需要进一步研究源。,决定深入学习Hadoop的源码。尽管如今已经出现Hadoop-2.x的文档版本号,但还是决定学习Hadoop-1.x的源码,而要想研究源码最好的方法还是先构建Hadoop项目,然后依据代码的运行进行跟踪调试。
所以这篇文章主要介绍了怎样在Eclipse下构建Hadoop项目。
首先在Eclipse下新建Hadoop项目。详细步骤为在File菜单下选择New子菜单。然后选择Project菜单,出现下图所看到的的提示框,在该提示框中选择Java Project并点击Nextbutton进行下一步。
在接下来的对话框中输入项目的名字,比如hadoop-1.2.1。并选择要使用的JRE。其余的能够保持默认,点击Nextbutton进入下一个对话框。
在弹出的对话框中不做不论什么改动。点击Finishbutton完毕新项目的建立。
至此,已经完毕了Java项目的建立。但该项目下临时没有不论什么代码文件。第二步就是要拷贝Hadoop的源文件到该项目中。将Hadoop部署文件夹下src文件夹中的core、hdfs、mapred、tools文件复制到上述新建项目中的src下,然后在上述项目上右键单击。在弹出的菜单中选择Build Path。再选择Configure Build Path,弹出下图所看到的的对话框。
在该对话框中点击Add Folderbutton,出现下图的对话框,在下图中选择core、hdfs、mapred和tools,然后点击OKbutton,会返回到上图的对话框,此时会报错,须要在上图中选择src。然后点击右側的Removebutton。
做完上述的操作后的对话框例如以下所看到的,如今完毕了加入源文件的工作。第三步则是加入Hadoop须要的jar文件。
在上述项目上右键单击。在弹出的菜单中选择Build Path,再选择Configure Build Path,在弹出的对话框中点击Libraries标签,例如以下图所看到的:
点击上图右側的Add External JARsbutton。会弹出选择JAR文件的文件选择框,这时能够选择Hadoop部署根文件夹及lib文件夹中JAR文件,完毕该操作后的对话框例如以下。点击OKbutton完毕加入JAR文件到项目路径的工作。
这时RccTask.java会提示下图的错误信息,这是因为项目路径中缺少ant.jar文件所致,怎样加入能够參考上面讲述的加入jar文件的步骤。将ant.jar文件加入到路径中后。错误信息消失,Hadoop项目已经成功构建完成。
版权声明:本文博主原创文章。博客,未经同意不得转载。
Hadoop学问Eclipse构建Hadoop工程的更多相关文章
- Hadoop学习---Eclipse中hadoop环境的搭建
		
在eclipse中建立hadoop环境的支持 1.需要下载安装eclipse 2.需要hadoop-eclipse-plugin-2.6.0.jar插件,插件的终极解决方案是https://githu ...
 - Spring+Maven+Eclipse构建Web工程
		
转载请注明出处:http://www.cnblogs.com/lidabnu/p/5657439.html 1 环境准备 下载Eclipse:http://www.eclipse.org/downlo ...
 - Maven构建Hadoop Maven构建Hadoop工程
		
一.安装maven linux eclipse3.6.1 maven安装 二:官网依赖库 我们可以直接去官网查找我们需要的依赖包的配置pom,然后加到项目中. 官网地址:http://mvnrepos ...
 - Maven构建Hadoop
		
Maven构建Hadoop工程 阅读目录 序 Maven 安装 构建 示例下载 系列索引 序 上一篇,我们编写了第一个MapReduce,并且成功的运行了Job,Hadoop1.x是通过ant来管理工 ...
 - Hadoop学习笔记—6.Hadoop Eclipse插件的使用
		
开篇:Hadoop是一个强大的并行软件开发框架,它可以让任务在分布式集群上并行处理,从而提高执行效率.但是,它也有一些缺点,如编码.调试Hadoop程序的难度较大,这样的缺点直接导致开发人员入门门槛高 ...
 - Hadoop在eclipse中的配置
		
在安装完linux下的hadoop框架,实现完所现有的wordCount程序,能够完美输出结果之后,我们开始来搭建在window下的eclipse的环境,进行相关程序的编写. 在网上有很多未编译版本, ...
 - eclipse查看hadoop中文件出现乱码
		
出现这个问题, 我首先去找了一下几个问题: 1.文件是否是utf-8 2.上传到Linux中的hadoop, 在Linux下去查看是否乱码 3.上面都没有问题, 就去检查eclipse,将项目工程改成 ...
 - 基于Eclipse搭建Hadoop源码环境
		
Hadoop使用ant+ivy组织工程,无法直接导入Eclipse中.本文将介绍如何基于Eclipse搭建Hadoop源码环境. 准备工作 本文使用的操作系统为CentOS.需要的软件版本:hadoo ...
 - 获取hadoop的源码和通过eclipse关联hadoop的源码
		
一.获取hadoop的源码 首先通过官网下载hadoop-2.5.2-src.tar.gz的软件包,下载好之后解压发现出现了一些错误,无法解压缩, 因此有部分源码我们无法解压 ,因此在这里我讲述一下如 ...
 
随机推荐
- ACM-计算几何之Quoit Design——hdu1007 zoj2107
			
Quoit Design Time Limit: 10000/5000 MS (Java/Others) Memory Limit: 65536/32768 K (Java/Others) To ...
 - 日交易41.9亿,B2B的魅力为何不输于B2C、C2C?
			
在最近两年的电子商务版图中,B2C和C2C可谓大放异彩,相比之下,B2B却显得颇为“低调”,当然,低调并不代表没有影响力,只不过,相比B2C和C2C面向数亿网民而言,B2B只针对企业和商家服务 ...
 - UVA 10828 - Back to Kernighan-Ritchie(概率+高斯消元)
			
UVA 10828 - Back to Kernighan-Ritchie 题目链接 题意:给图一个流程图,有结点的流程,每次进入下一个流程概率是均等的,有q次询问,求出每次询问结点的运行期望 思路: ...
 - TMS320F28335项目开发记录5_28335之CCS编程基础
			
CCS开发环境已经为我们封装好了很多片内外设寄存器的结构体,我们仅仅须要包括对应的官方的头文件就能够使用了,那么它的内部详细是怎样实现的呢? 以下来一个典型的样例: 1.使用结构体和联合体 A.用st ...
 - asp.net中用FileStream类实现下载文件功能,自定义下载路径,像IE下载一样
			
方法一: //这个值可以从配置文件读取,或者放个textbox让用户填 string path = "你的路径";FileStream outputStream = new Fil ...
 - 关于Opencv2.4.x中stitcher类的简单应用
			
1.opencv2.4以上版本有stitcher类,可以简单方便的实现图像的拼接,目前只是简单的测试一下stitcher类的拼接功能,也是纠结了好长时间,最终发现是要在链接库中加上opencv_sti ...
 - WPF界面设计技巧(6)—玩玩数字墨水手绘涂鸦
			
原文:WPF界面设计技巧(6)-玩玩数字墨水手绘涂鸦 想让你的程序支持鼠标及手写笔涂鸦吗?只要敲入“<InkCanvas/>”这几个字符,你就会领悟什么叫“很好很强大”,今天我们来做一个手 ...
 - Linux查看连接数,并发数
			
Linux查看连接数,并发数 博客分类: 小记 linux 软连接 ln -s /home/ictfmcg/data/photo /var/jtnd/data/photo tomcat 6的Conn ...
 - Oracle ORA-01034,ORA-27101,ORA-00600
			
本机IP地址:192.168.1.163 [oracle@rtest ~]$ sqlplus /nolog SQL*Plus: Release 10.2.0.2.0 - Production on S ...
 - poj 3311  状压DP
			
经典TSP变形 学到:1.floyd O(n^3)处理随意两点的最短路 2.集合的位表示,我会在最后的总结出写出.注意写代码之前一定设计好位的状态.本题中,第0位到第n位分别代表第i个城市,1是已经 ...