Hadoop Eclipse 插件制作以及安装
在本地使用Eclipse调试MapReduce程序,需要Hadoop插件,笔摘记录下制作安装过程。
准备工作(hadoop-2.6.0为例):
搭建好Hadoop环境
下载Hadoop安装包,解压到某个路径(D:\hadoop-2.6.0)
下载 hadoop2x-eclipse-plugin包
安装jdk 、ant、eclipse
相关资源下载:https://pan.baidu.com/s/11xMtbRWpy96gWIwQeQOKOg
一、制作
1、git下载源码 https://github.com/winghc/hadoop2x-eclipse-plugin
2、编译准备
需要安装 jdk,Ant、Eclipse
jdk安装配置 : https://jingyan.baidu.com/article/6dad5075d1dc40a123e36ea3.html
ant安装配置:https://jingyan.baidu.com/article/90808022c5eed8fd91c80f90.html
3、编译
(1)进入hadoop2x-eclipse-plugin解压目录下(D:\hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin)
(2)执行命令 :ant jar -Dversion=2.6.0 -Declipse.home=D:\temp\eclipse -Dhadoop.home=D:\hadoop-2.6.0

参数说明:
1.Dversion是你编译的版本,此版本为2.6.0
2.Declipse.home是Eclipse安装目录
3.Dhadoop.home是Hadoop解压的本地目录
(3)执行完毕

生成插件(build/contrib/eclipse-plugin目录下产生一个hadoop-eclipse-plugin-2.6.0.jar文件),插件制作结束。

二、插件安装
1.安装插件
把插件放入eclipse plugins文件夹,然后打开win7下Eclipse,将hadoop-eclipse-plugin-2.6.0.jar插件放到Eclipse安装目录的plugins文件夹下,我这里的路径是D:\hbl_download\eclipse\plugins
其实放到这里面已经完成大部分了。

2.重启Eclipse
通过window-》preference
找到下图所示,选择Hadoop安装目录

3.创建New hadoop location
通过下面操作,单击other

选择MapReduce Tool选项


4.配置New hadoop location
右键New hadoop location

其中50020是Map/Reduce(V2) Master默认端口,9000为配置文件中DFS Master配置的端口
5.查看效果
配置完毕,查看效果

三、MapReduce程序调试
本地调试MapReduce程序,需要在解压的Hadoop的bin目录下安装winutils.exe,以及将 hadoop.dll拷贝至C:\Windows\System32目录中


Hadoop Eclipse 插件制作以及安装的更多相关文章
- Hadoop学习笔记—6.Hadoop Eclipse插件的使用
开篇:Hadoop是一个强大的并行软件开发框架,它可以让任务在分布式集群上并行处理,从而提高执行效率.但是,它也有一些缺点,如编码.调试Hadoop程序的难度较大,这样的缺点直接导致开发人员入门门槛高 ...
- hadoop eclipse插件生成
hadoop eclipse插件生成 做了一年的hadoop开发.还没有自动生成过eclipse插件,一直都是在网上下载别人的用,今天有时间,就把这段遗憾补回来,自己生成一下,废话不说,開始了. 本文 ...
- The command ("dfs.browser.action.delete") is undefined 解决Hadoop Eclipse插件报错
Hadoop Eclipse插件 报错. 使用 hadoop-eclipse-kepler-plugin-2.2.0.jar 如下所示 Error Log 强迫症看了 受不了 The command ...
- 更新 hadoop eclipse 插件
卸载hadoop 1.1.2插件.并安装新版hadoop 2.2.0插件. 假设直接删除eclipse plugin文件夹下的hadoop 1.1.2插件,会导致hadoop 1.1.2插件残留在ec ...
- Eclipse插件CheckStyle的安装和使用
转载自:http://www.cnblogs.com/lanxuezaipiao/p/3202169.html CheckStyle是SourceForge下的一个项目,提供了一个帮助JAVA开发人员 ...
- 分享一下 Eclipse 插件 PyDev 的安装
想趁暑假学习一下python,学好语言好的开发环境是基础.因为安装有eclipse,所以想安装PyDev插件作为python开发环境.本来以为是一件简单的事情,结果整整弄了一下午各种装不上,度娘上的几 ...
- 每天收获一点点------Hadoop Eclipse插件的使用
本文所用软件版本:myeclipe2014 hadoop1.2.1 1.安装Hadoop开发插件 下载hadoop-eclipse-plugin-1.2.1.jar,拷贝到myeclipse根目 ...
- Eclipse插件的各种安装方法
这篇文章我们总结下安装Eclipse的各种方法,首先一下的步骤都是在版本为“Kepler Service Release 1”的Eclipse下完成的.如果你的Eclipse版本不是"Kep ...
- 第四章.使用ant编译hadoop eclipse插件
从hadoop 0.20.203以后,hadoop的发布包里,不再对eclipse插件进行jar包发布,而是给出了打包的代码,需要各位开发人员自己进行打包和设置.我们打的包必须跟自己使用的hadoop ...
随机推荐
- 设计模式之简单工厂模式(Simple Factory)
原文地址:http://www.cnblogs.com/BeyondAnyTime/archive/2012/07/06/2579100.html 今天呢,要学习的设计模式是“简单工厂模式”,这是一个 ...
- day010-缓冲流、转换流、序列化流
1. 缓冲流 又称为高效流.高效流高效的原理:使用缓冲区(数组)临时存储多个数据,减少底层资源的调用次数.从而提高读写速度. 1.1 缓冲流分类 字节缓冲流: BufferedOutputSt ...
- February 23 2017 Week 8 Thursday
In order to be irreplaceable, one must always be different. 想要无可取代,必须与众不同. In recent days, a news ab ...
- linux命令有用
uptime 命令用来输出系统任务队列信息 last 列出目前与过去登入系统的用户相关信息 free 用来显示系统内存状态 ps 相應的選項組合為ps -ef.ps aux,可以通過這些組合準確定位系 ...
- mydumper安装和使用
安装下载安装包:wget https://launchpad.net/mydumper/0.9/0.9.1/+download/mydumper-0.9.1.tar.gz 安装依赖包:yum inst ...
- 十天精通CSS3
课程地址:http://www.imooc.com/learn/33 第1章 初识CSS3 CSS3课程列出第一站,先带领大家进入CSS3的世界,探索CSS3的魅力! 你做好准备了吗? 第2章 边框 ...
- 【LOJ6041】「雅礼集训 2017 Day7」事情的相似度(用LCT维护SAM的parent树)
点此看题面 大致题意: 给你一个\(01\)串,每次询问前缀编号在一段区间内的两个前缀的最长公共后缀的长度. 离线存储询问 考虑将询问离线,按右端点大小用邻接表存下来(直接排序当然也可以啦). 这样的 ...
- poj 2356 抽屉原理
基本原理: n+1个鸽子放到n个笼子里,至少有一个笼子里有两只及其以上的鸽子.若有n个笼子,kn+1个鸽子,至少有一个笼子里面有k+1个鸽子: 题意:给定N个数,挑出一些数,他们和和是n的整数倍: 分 ...
- Yii 判断是不是post方式提交的数据
一.在controller里判断提交是不是通过post方式: if(Yii::$app->request->isPost){ return true; }else{ return fals ...
- VK Cup 2012 Round 1 D. Distance in Tree (树形dp)
题目:http://codeforces.com/problemset/problem/161/D 题意:给你一棵树,问你两点之间的距离正好等于k的有多少个 思路:这个题目的内存限制首先大一倍,他有5 ...