在本地使用Eclipse调试MapReduce程序,需要Hadoop插件,笔摘记录下制作安装过程。

准备工作(hadoop-2.6.0为例):

  搭建好Hadoop环境

  下载Hadoop安装包,解压到某个路径(D:\hadoop-2.6.0)

  下载 hadoop2x-eclipse-plugin包

  安装jdk 、ant、eclipse

相关资源下载:https://pan.baidu.com/s/11xMtbRWpy96gWIwQeQOKOg

一、制作

  1、git下载源码 https://github.com/winghc/hadoop2x-eclipse-plugin

  2、编译准备

   需要安装 jdk,Ant、Eclipse

   jdk安装配置 : https://jingyan.baidu.com/article/6dad5075d1dc40a123e36ea3.html

     ant安装配置:https://jingyan.baidu.com/article/90808022c5eed8fd91c80f90.html

  3、编译

    (1)进入hadoop2x-eclipse-plugin解压目录下(D:\hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin)

    (2)执行命令 :ant jar -Dversion=2.6.0 -Declipse.home=D:\temp\eclipse -Dhadoop.home=D:\hadoop-2.6.0

    

    参数说明:

    1.Dversion是你编译的版本,此版本为2.6.0

    2.Declipse.home是Eclipse安装目录


    3.Dhadoop.home是Hadoop解压的本地目录

   (3)执行完毕

   

    生成插件(build/contrib/eclipse-plugin目录下产生一个hadoop-eclipse-plugin-2.6.0.jar文件),插件制作结束。

    

二、插件安装

  1.安装插件

  把插件放入eclipse plugins文件夹,然后打开win7下Eclipse,将hadoop-eclipse-plugin-2.6.0.jar插件放到Eclipse安装目录的plugins文件夹下,我这里的路径是D:\hbl_download\eclipse\plugins
  其实放到这里面已经完成大部分了。

  

  2.重启Eclipse
  通过window-》preference
找到下图所示,选择Hadoop安装目录

  

  3.创建New hadoop location
   通过下面操作,单击other

   

    选择MapReduce Tool选项

    

    

  4.配置New hadoop location

   右键New hadoop location

    

  

    其中50020是Map/Reduce(V2) Master默认端口,9000为配置文件中DFS Master配置的端口

  5.查看效果
    
配置完毕,查看效果

    

三、MapReduce程序调试

  本地调试MapReduce程序,需要在解压的Hadoop的bin目录下安装winutils.exe,以及将 hadoop.dll拷贝至C:\Windows\System32目录中

    

    

Hadoop Eclipse 插件制作以及安装的更多相关文章

  1. Hadoop学习笔记—6.Hadoop Eclipse插件的使用

    开篇:Hadoop是一个强大的并行软件开发框架,它可以让任务在分布式集群上并行处理,从而提高执行效率.但是,它也有一些缺点,如编码.调试Hadoop程序的难度较大,这样的缺点直接导致开发人员入门门槛高 ...

  2. hadoop eclipse插件生成

    hadoop eclipse插件生成 做了一年的hadoop开发.还没有自动生成过eclipse插件,一直都是在网上下载别人的用,今天有时间,就把这段遗憾补回来,自己生成一下,废话不说,開始了. 本文 ...

  3. The command ("dfs.browser.action.delete") is undefined 解决Hadoop Eclipse插件报错

    Hadoop Eclipse插件 报错. 使用 hadoop-eclipse-kepler-plugin-2.2.0.jar 如下所示 Error Log 强迫症看了 受不了 The command ...

  4. 更新 hadoop eclipse 插件

    卸载hadoop 1.1.2插件.并安装新版hadoop 2.2.0插件. 假设直接删除eclipse plugin文件夹下的hadoop 1.1.2插件,会导致hadoop 1.1.2插件残留在ec ...

  5. Eclipse插件CheckStyle的安装和使用

    转载自:http://www.cnblogs.com/lanxuezaipiao/p/3202169.html CheckStyle是SourceForge下的一个项目,提供了一个帮助JAVA开发人员 ...

  6. 分享一下 Eclipse 插件 PyDev 的安装

    想趁暑假学习一下python,学好语言好的开发环境是基础.因为安装有eclipse,所以想安装PyDev插件作为python开发环境.本来以为是一件简单的事情,结果整整弄了一下午各种装不上,度娘上的几 ...

  7. 每天收获一点点------Hadoop Eclipse插件的使用

    本文所用软件版本:myeclipe2014    hadoop1.2.1 1.安装Hadoop开发插件 下载hadoop-eclipse-plugin-1.2.1.jar,拷贝到myeclipse根目 ...

  8. Eclipse插件的各种安装方法

    这篇文章我们总结下安装Eclipse的各种方法,首先一下的步骤都是在版本为“Kepler Service Release 1”的Eclipse下完成的.如果你的Eclipse版本不是"Kep ...

  9. 第四章.使用ant编译hadoop eclipse插件

    从hadoop 0.20.203以后,hadoop的发布包里,不再对eclipse插件进行jar包发布,而是给出了打包的代码,需要各位开发人员自己进行打包和设置.我们打的包必须跟自己使用的hadoop ...

随机推荐

  1. 获取select下拉框的value以及文本内容

    select下拉框在项目开发中是经常用到的,特别是在联级菜单方面的应用更为广泛.但是,对于一些初学者来说,如何获取下拉框子节点option的value值和文本内容,还是有一点难度的.其他的就不说了,现 ...

  2. 如何用css将一个div设置为一个圆

    直接上代码: <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"> <html> ...

  3. day008-File文件

    1. File 文件和目录路径名的抽象表示形式. 一个File类对象就代表了一个文件或文件夹. 1.1 File类的作用 用来操作硬盘上的文件或文件夹 绝对路径:一般是以盘符开始的,比如:C:/Jav ...

  4. docker nginx 反向代理

    上一篇介绍了docker 安装和docker-compose配置 使用docker pull nginx:1.12.0 编写docker-compose.yml nginx: image: 17dae ...

  5. 【Mysql】—— 报错:Can't call commit when autocommit=true

    java.sql.SQLException: Can't call commit when autocommit=true at com.mysql.jdbc.SQLError.createSQLEx ...

  6. Orchard Core 文档翻译 (五)自动路由 Autoroute (OrchardCore.Autoroute)

    Autoroute (OrchardCore.Autoroute) 此模块允许您为内容项指定自定义URL(永久链接 permalink). Autoroute Part 将此部分附加到内容类型以指定内 ...

  7. python_列表/元组/元组列表以及如何使用

    1.list是处理一组有序项目的数据结构 #定义一个列表 list=[1,2,3] print type(list) print list[0] 输出: <type 'list'> 1 2 ...

  8. [原]Android打包之Eclipse打包

    Android自动打包流程详细图: 步骤一: 在工程中新建一个build.xml. 步骤二: 给工程配置ant工具. 选择ant工具的步骤如下: Windows->Shown view-> ...

  9. 【牛客挑战赛30D】小A的昆特牌(组合问题抽象到二维平面)

    点此看题面 大致题意: 有\(S\)张无编号的牌,可以将任意张牌锻造成\(n\)种步兵或\(m\)种弩兵中的一种,求最后步兵数量大于等于\(l\)小于等于\(r\)的方案数. 暴力式子 首先我们来考虑 ...

  10. PAT1087. All Roads Lead to Rome

    PAT1087. All Roads Lead to Rome 题目大意 给定一个图的边权和点权, 求边权最小的路径; 若边权相同, 求点权最大; 若点权相同, 则求平均点权最大. 思路 先通过 Di ...