1.需要安装包
1.1 hadoop源码包(hadoop-2.5.2-src.tar.gz)
1.2 hadoop 2X插件(hadoop2x-eclipse-plugin-master.zip)
1.3 hadoop windows 工具(hadoop-common-2.2.0-bin-master.zip)
1.4 ANT编译工具(apache-ant-1.9.6.tar.gz) 2.步骤(在此之前默认已经安装好jdk和eclipse 其中jdk在1.6版本或以上)
2.1 安装ant和hadoop
解压apache-ant-1.9.6.tar.gz和hadoop bin包(此处略过hadoop单机配置)
配置环境变量
ANT_HOME = D:\apache\apache-ant-1.9.6
HADOOP_HOME = D:\apache\apache-hadoop-2.5.2
在Path上加上;%ANT_HOME%\bin;%HADOOP_HOME%\bin 注意分号
验证 cmd-> ant -v 2.2 编译插件
解压hadoop2x-eclipse-plugin-master.zip
cmd -> cd hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin 目录下 修改hadoop2x-eclipse-plugin-master\ivy\libraries.properties文件中的
hadoop.version=2.5.2 如果是2.5.2版本的話注释build.xml掉以下行
<copy file="${hadoop.home}/share/hadoop/common/lib/htrace-core-${htrace.version}.jar" todir="${build.dir}/lib" verbose="true"/> 运行 ant jar -Dversion=2.5.2 -Declipse.home=eclipse所在目录 -Dhadoop.home=hadoop所在目录(有可能编译不通过,注意挂vpn) 运行成功后在adoop2x-eclipse-plugin-master\build目录下会得到一个jar包(将它拷贝到eclipse的plugins目录下) 重启eclipse
2.3 配置插件
打开Window-->Preferens,可以看到Hadoop Map/Reduc选项,然后点击,然后添加hadoop-2.5.2目录进来 配置Map/ReduceLocations
1)点击Window-->Show View -->MapReduce Tools 点击Map/ReduceLocation
2)点击Map/ReduceLocation选项卡,点击右边小象图标,打开Hadoop Location配置窗口: 输入Location Name,任意名称即可.配置Map/Reduce Master和DFS Mastrer,Host和Port配置成hdfs-site.xml与core-site.xml的设置一致即可
验证 DFS Locations 此时应该能显示出hadoop中的文件目录了。然后不能添加目录或者文件,注意看下hadoop的安全模式是否处于关闭状态、如果开启状态,将它关闭
hadoop dfsadmin -safemode leave 2.4 拷贝工具
解压hadoop-common-2.2.0-bin-master.zip 将里面所有文件复制到hadoop目录的bin目录下 会替换一些文件
2.5 用户权限
将windows的登陆用户修改为hadoop虚拟机中的用户(同名即可,无需同密码)
2.6 源码修改
找到NativeIO这个类 注释掉 return access0这行 添加return true; 然后替换hadoop中的.class文件 在hadoop-common-2.5.2.jar文件中(windows中的)
(又或者把这个类注意包结构拷贝到项目中,) 修改后运行即可
2.7 添加日志
在项目src目录下添加一个log4j.properties 内容如下:
log4j.rootLogger=debug,stdout,R
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%5p - %m%n
log4j.appender.R=org.apache.log4j.RollingFileAppender
log4j.appender.R.File=mapreduce_test.log
log4j.appender.R.MaxFileSize=1MB
log4j.appender.R.MaxBackupIndex=1
log4j.appender.R.layout=org.apache.log4j.PatternLayout
log4j.appender.R.layout.ConversionPattern=%p %t %c - %m%n
log4j.logger.com.codefutures=DEBUG 经过以上步骤就可以不用在windows打jar再部署进行测试了。

  

ecplise + hadoop 调试环境搭建的更多相关文章

  1. Solr4.8.0源码分析(4)之Eclipse Solr调试环境搭建

    Solr4.8.0源码分析(4)之Eclipse Solr调试环境搭建 由于公司里的Solr调试都是用远程jpda进行的,但是家里只有一台电脑所以不能jpda进行调试,这是因为jpda的端口冲突.所以 ...

  2. Hadoop分布环境搭建步骤,及自带MapReduce单词计数程序实现

    Hadoop分布环境搭建步骤: 1.软硬件环境 CentOS 7.2 64 位 JDK- 1.8 Hadoo p- 2.7.4 2.安装SSH sudo yum install openssh-cli ...

  3. 攻城狮在路上(陆)-- hadoop分布式环境搭建(HA模式)

    一.环境说明: 操作系统:Centos6.5 Linux node1 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 ...

  4. Windows下Lua+Redis 断点调试环境搭建==Linux下类似

    Lua+Redis 断点调试环境搭建 windows环境,使用Redis,写lua脚本头疼的问题之一不能对脚本断点调试,google加上自己的摸索,终于搞定. 1.下载ZeroBraneStudio, ...

  5. Windebug双机调试环境搭建

    Windebug双机调试环境搭建    开始进行内核编程/驱动编程的调试工作是非常烦人的,由于程序运行与内核层不受操作系统的管控,所以容易引起主机蓝屏和崩溃是常有的事.这也就使得内核程序的调试成了一大 ...

  6. Hadoop之环境搭建

    初学Hadoop之环境搭建   阅读目录 1.安装CentOS7 2.安装JDK1.7.0 3.安装Hadoop2.6.0 4.SSH无密码登陆 本文仅作为学习笔记,供大家初学Hadoop时学习参考. ...

  7. 《天书夜读:从汇编语言到windows内核编程》四 windows内核调试环境搭建

    1) 基础篇是讲理论的,先跳过去,看不到代码运行的效果要去记代码是一个痛苦的事情.这里先跳入探索篇.其实今天的确也很痛苦,这作者对驱动开发的编译与调试环境介绍得太模糊了,我是各种尝试,对这个环境的搭建 ...

  8. 【HADOOP】| 环境搭建:从零开始搭建hadoop大数据平台(单机/伪分布式)-下

    因篇幅过长,故分为两节,上节主要说明hadoop运行环境和必须的基础软件,包括VMware虚拟机软件的说明安装.Xmanager5管理软件以及CentOS操作系统的安装和基本网络配置.具体请参看: [ ...

  9. HI3518E平台ISP调试环境搭建

    海思的SDK提供了ISP调试的相关工具,降低了IPC的ISP调试的难度.初次搭建ISP调试环境,记录一下. SDK版本:Hi3518_MPP_V1.0.A.0 硬件平台:HI3518E_OV9732 ...

随机推荐

  1. js像素运算问题

    通过DOM获取的某一距离属性(比如left)是带px单位的,直接对其算术运算不起效,要先把获取到的值处理一下去掉px单位. 方法一(用处理字符串的方式去除px): var x=document.get ...

  2. Java优先队列

    按照Java api的说法: java.util.PriorityQueue.PriorityQueue() Creates a PriorityQueue with the default init ...

  3. SQL 删除索引错误

    SQL Server 数据库执行 ”DROP INDEX 索引名 ON 表名“ 时出现“不允许对索引 '索引名' 显式地使用 DROP INDEX.该索引正用于 PRIMARY KEY 约束的强制执行 ...

  4. web app开发技巧总结 (share)

    (转自http://hi.baidu.com/kuntakinte/item/ca92d6e5edae9fc0bbf37d08) 自Iphone和Android这两个牛逼的手机操作系统发布以来,在互联 ...

  5. [从产品角度学EXCEL 00]-为什么要关注EXCEL的本质

    前言 Hello 大家好,我是尾巴,从今天开始,在这里连载<从产品角度学EXCEL>的系列文章.本文不接受无授权转载,如需转载,请先联系我,非常感谢. 与世面上的大部分EXCEL教程不同的 ...

  6. android 弹出AlertDialog的学习案例

    我在编写的时候,测试的关键代码: AlertDialog.Builder builder=new AlertDialog.Builder(MainPointListActivity.this); bu ...

  7. runtime 第四部分method swizzling

    接上一篇 http://www.cnblogs.com/ddavidXu/p/5924597.html 转载来源http://www.jianshu.com/p/6b905584f536 http:/ ...

  8. Webview和Html

    参考http://blog.csdn.net/chenzheng_java/article/details/6260872 <html><header> <title&g ...

  9. 关于iframe

    iframe一般用来嵌套其他页面来使用 1.如何使用? <iframe id="iframe1" src="2.html" frameborder=&qu ...

  10. [转]Android静态变量的生命周期

    原文地址:https://my.oschina.net/jerikc/blog/137207 Android是用Java开发,其静态变量的生命周期遵守Java的设计.我们知道静态变量是在类被load的 ...