目标:
编译Apache Hadoop2.2.0在win7x64环境下的Eclipse插件

环境:

win7x64家庭普通版
eclipse-jee-kepler-SR1-win32-x86_64.zip
Apache Ant(TM) version 1.8.4 compiled on May 22 2012
java version "1.7.0_45"

參考文章:

插件源代码下载:

前提:
ant、jdk、eclipse、Apache hadoop 2.2.0安装包都准备好
插件源代码包已经下载好
在虚拟机上已经部署好Apache hadoop 2.2.0环境

步骤1:
将Apache Hadoop 2.2.0的安装包拷贝至随意windows文件夹,我使用的文件夹是D:\Development_ProgramFiles_2014\hadoop-2.2.0
切记:整个路径不能出现空格。否则ant编译过程会出错。

步骤2(该步骤应该能够省略):
将Hadoop集群上存配置文件的目录hadooproot/etc/hadoop/复制到D:\Development_ProgramFiles_2014\hadoop-2.2.0\etc下

步骤3:
执行cmd,进入插件源代码根文件夹。执行
cd src/contrib/eclipse-plugin

步骤4:
运行ant
jar -Dversion=2.2.0 -Declipse.home=D:\Development_ProgramFiles_2014\eclipse2014 -Dhadoop.home=D:\Development_ProgramFiles_2014\hadoop-2.2.0
注意:命令中须要指定需编译插件的目标eclipse安装文件夹、hadoop安装文件夹。
切记:两个文件夹的全路径中都不能带有空格。

步骤5:
然后就是漫长等待了,主要慢的target:ivy-download。ivy-resolve-common这两步。
最后生成的插件在
hadoop2x-eclipse-plugin-master\build\contrib\eclipse-plugin\hadoop-eclipse-plugin-2.2.0.jar

步骤6:
将hadoop-eclipse-plugin-2.2.0.jar复制到eclipse的plugins文件夹下,启动eclipse

步骤7:
Window--》Preferences 配置hadoop根文件夹:

注意:配置该路径不过为了运行MR程序过程中。eclipse能找到对应的jar包。

步骤8:
打开mapreduce的view:

配置location:

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZnVsb25nZmJp/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="" style="border:none; max-width:100%">

注意:MR Master和DFS Master配置必需和mapred-site.xml和core-site.xml等配置文件一致。

步骤9:
打开Project Explorer。查看HDFS文件系统:



步骤10:
新建mapreduce项目


创建mapreduce程序:

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZnVsb25nZmJp/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="" style="border:none; max-width:100%">



执行MR程序。提示无法连接集群,请參见兴许文章:
【甘道夫】Win7环境Eclipse连接Hadoop2.2.0
http://blog.csdn.net/u010967382/article/details/25368313

版权声明:本文博客原创文章。博客,未经同意,不得转载。

【甘道夫】Win7x64环境下编译Apache Hadoop2.2.0的Eclipse小工具的更多相关文章

  1. 如何编译Apache Hadoop2.6.0源代码

    如何编译Apache Hadoop2.6.0源代码 1.安装CentOS 我使用的是CentOS6.5,下载地址是http://mirror.neu.edu.cn/centos/6.5/isos/x8 ...

  2. Centos 6.5 X64 环境下编译 hadoop 2.6.0 --已验证

    Centos 6.5 x64 hadoop 2.6.0 jdk 1.7 protobuf-2.5.0 maven-3.0.5 set environment export JAVA_HOME=/hom ...

  3. 编译Apache Hadoop2.2.0源代码

    Hadoop2的学习资料很少,只有官网的少数文档.如果想更深入的研究hadoop2,除了仅看官网的文档外,还要学习如何看源码,通过不断的调试跟踪源码,学习hadoop的运行机制. 1.安装CentOS ...

  4. 如何编译Apache Hadoop2.2.0源代码

    转自(原文图片已丢失,本文修复图片,重新排版,并更正部分原文错误):http://www.superwu.cn/2013/12/26/913 欢迎和大家交流技术相关问题: 邮箱: jiangxinnj ...

  5. ubuntu 环境下编译 hadoop 2.6.0的简单方法

    由于服务器一般都64位系统, hadoop网站的release版本32位native库不能运行,所以需要自己在编译一下.以下是我采用的一个编译的过程,比较简单,不用下载各种版本及环境配置,通过命令就能 ...

  6. 【甘道夫】并行化频繁模式挖掘算法FP Growth及其在Mahout下的命令使用

    今天调研了并行化频繁模式挖掘算法PFP Growth及其在Mahout下的命令使用,简单记录下试验结果,供以后查阅: 环境:Jdk1.7 + Hadoop2.2.0单机伪集群 +  Mahout0.6 ...

  7. 【甘道夫】MapReduce实现矩阵乘法--实现代码

    之前写了一篇分析MapReduce实现矩阵乘法算法的文章: [甘道夫]Mapreduce实现矩阵乘法的算法思路 为了让大家更直观的了解程序运行,今天编写了实现代码供大家參考. 编程环境: java v ...

  8. libCURL开源库在VS2010环境下编译安装,配置详解

    libCURL开源库在VS2010环境下编译安装,配置详解 转自:http://my.oschina.net/u/1420791/blog/198247 http://blog.csdn.net/su ...

  9. Redhat环境下编译安装Google Bazel

    Redhat环境下编译安装bazel 作者:Jack47 目前Google Bazel没有提供各个操作系统下的二进制安装包,只提供源代码,需要我们自己编译安装,详情可以见我翻译的中文版Google B ...

随机推荐

  1. fzu 1909 An Equation(水题)

    题目链接:fzu 1909 An Equation 典型的签到题. #include <stdio.h> #include <string.h> bool judge(int ...

  2. Delphi图像处理 -- 最小值

    阅读提示:     <Delphi图像处理>系列以效率为侧重点,一般代码为PASCAL,核心代码采用BASM.     <C++图像处理>系列以代码清晰,可读性为主,全部使用C ...

  3. java中subString、split、stringTokenizer三种截取字符串方法的性能比较(转)

    最近在阅读java.lang下的源码,读到String时,突然想起面试的时候曾经被人问过:都知道在大数据量情况下,使用String的split截取字符串效率很低,有想过用其他的方法替代吗?用什么替代? ...

  4. 引导加载程序:GRUB

    计算机在启动的时候,首先由BIOS中的程序执行自检,自检通过后,就根据CMOS的配置找到第一个可启动磁盘的MBR中的Boot Loader程序(一般在启动盘的第一个物理扇区,占446字节),并把控制权 ...

  5. POJ1422 最小路径覆盖入门

    题意:DAG求最小路径覆盖. 注意:二分匹配只试用于求DAG的最小路径覆盖, 有环就不行,具体可以理解证明. 对n个点进行拆点,分成左右两排点,对于边<u, v> 建  <u', v ...

  6. [eclipse] 三个操作技巧

    [eclipse] 三个操作技巧 1.快捷键Ctrl+Shift+i:Debug调试中直接获取方法的返回值 在下图代码中,想知道getHost(),则在调试时运行完该句代码后,选中"urlU ...

  7. UVa 11371 - Number Theory for Newbies

    題目:給你一個數字n.將裡面每位的數又一次組合形成a,b.使得a-b最大且是9的倍數. 分析:數論. 題目要求a,b和n的位數同样,不能有前導0. 定理1:交換一個數字中的某兩個位的數,形成的新數組和 ...

  8. svn跨机备份

    #!/bin/sh svn_bak_dir='/svndata/cloudil' svn_server='svn://172.16.40.200:9999' user=adminread pass=a ...

  9. ACE的构建(VC++6.0环境)

    ACE的构建(VC++6.0环境)Windows下ACE的构建1. 将ACE-5.5.zip解压到所需的安装目录,此处以E:/为例,解压后形成ACE_wrappers文件夹,因此ACE将会存在于ACE ...

  10. 后缀数组--可重叠的K次最长重复子串(POJ3261)

    题目:Milk Patterns #include <stdio.h> #include <string.h> #define N 1000010 int wa[N],wb[N ...