Hadoop2.x的Eclipse插件编译与安装
Eclipse的Hadoop插件在开发hadoop应用程序中可以提供一些很方便的操作,可以直接Eclipse中浏览HDFS上的文件,可以直接新建选择MapReduce项目,项目自动包含所有需要的hadoop jar包,不必再手动拷贝。
Ant是一种Java的项目打包管理工具,类似于Maven,操作比Maven简单。本次Eclipse Hadoop插件使用Ant进行编译,如果本机已安装Ant,请略过这一步骤。
1、下载Ant
到官网(http://ant.apache.org/bindownload.cgi)下载最新的Ant包,本实验版本:apache-ant-1.9.5-bin.zip。
2、配置环境变量
1) Windows:① 环境变量新增:ANT_HOME=D:\apache-ant-1.9.5;② classpath新增:%ANT_HOME%\lib;③ path新增:%ANT_HOME%\lib。
2) Linux:① /etc/profile新增:export ANT_HOME=/usr/local/ant;② 执行命令:source /etc/profile。
验证安装:ant -version
1、下载hadoop2.x插件
https://github.com/hduhans/hadoop2x-eclipse-plugin-master
2、开始编译
1) 打开命令行,进入插件解压后src/contrib/eclipse-plugin目录中;
2) 执行编译命令:ant jar -Dversion=2.6.0 -Declipse.home=D:\desktop\eclipse -Dhadoop.home=D:\desktop\hadoop-2.6.0;
其中Declipse.home为ecipse根目录,Dhadoop.home为hadoop根目录。
3) 等待编译成功,出现如下“BUILD SUCCESSFUL”提示文字,说明编译成功;
编译成功的jar包位于:build/contrib/eclipse-plugin/hadoop-eclipse-plugin-2.6.0.jar
1、将编译后的 build/contrib/eclipse-plugin/hadoop-eclipse-plugin-2.6.0.jar 拷贝到 eclipse/plugins 目录中,重启eclipse;
2、在eclipse菜单中选择 windows → show view → other ,在弹出的对话框中选择“Map/Reduce Locations”,点击确定;
3、在控制台的“Map/Reduce Locations”页签空白处点击右键,选择“New Hadoop location”,填写参数,如下所示:
图2.1 New Hadoop location参数填写说明
其中Map/Reduce Master的端口地址该怎么填写,网上大都资料为hadoop1.x的mapred.job.tracker的端口号,但在hadoop2.x中已使用yarn来代替jobtracker,猜测这里填写mapreduce.jobtracker.http.address的端口值50030,也有资料说填写dfs.datanode.ipc.address端口值50020,具体填写何值有待进一步确认。
3、打开 Windows → Hadoop Map/Reduce ,右侧选择hadoop2.6所在路径:D:\desktop\hadoop-2.6.0;
4、打开 Windows → show view → other ,选择“Project Explorer”,可以在 DFS Locations 中看到HDFS的目录结构;
图2.2 Eclipse Hadoop插件浏览HDFS目录
5、新建MapReduce项目,打开 New → Project ,选择“Map/Reduce Project”,输入项目名即可,项目创建后会自动导入hadoop下所需的jar包。
Hadoop2.x的Eclipse插件编译与安装的更多相关文章
- Hadoop2.2.0 eclipse插件编译及Ecliipse配置说明(图文版)
一.引言: 最近在做一个城商行项目的POC测试it版本,涉及到编译Linux64bti的源码和开发插件使用,作为笔记分享给大家. 二.插件编译 Hadoop2x版本的Eclipse插件已经单独抽取成独 ...
- hadoop2.6.0的eclipse插件编译和设置
编译hadoop2.6.0的eclipse插件 下载源码: git clone https://github.com/winghc/hadoop2x-eclipse-plugin.git 编译源码: ...
- Hadoop-2.3.0的Eclipse插件编译
Hadoop-2.3.0的Eclipse插件编译 #cd /usr/local/src/hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugi ...
- hadoop 1.2.1 eclipse 插件编译
hadoop-1.2.1 eclipse插件编译 在ubuntu上进行hadoop相关的开发,需要在eclipse上安装hadoop开发插件.最新释放出的hadoop包含源码的包,以had ...
- Eclipse插件CheckStyle的安装和使用
转载自:http://www.cnblogs.com/lanxuezaipiao/p/3202169.html CheckStyle是SourceForge下的一个项目,提供了一个帮助JAVA开发人员 ...
- hadoop-1.2.0 eclipse插件编译
linux.windows下通用,亲测. 下面以window为例,假设:hadoop工程目录位于D:\work\eclipse64\hadoop-1.2.0.1.3.0.0,eclipse安装目录为E ...
- hadoop2对应的eclipse插件使用
1. eclipse插件安装步骤: a).把插件复制到eclipse安装目录plugins文件夹下 b).打开eclipse的Window---Preference---Hadoop M/R---指向 ...
- 分享一下 Eclipse 插件 PyDev 的安装
想趁暑假学习一下python,学好语言好的开发环境是基础.因为安装有eclipse,所以想安装PyDev插件作为python开发环境.本来以为是一件简单的事情,结果整整弄了一下午各种装不上,度娘上的几 ...
- Eclipse插件的各种安装方法
这篇文章我们总结下安装Eclipse的各种方法,首先一下的步骤都是在版本为“Kepler Service Release 1”的Eclipse下完成的.如果你的Eclipse版本不是"Kep ...
随机推荐
- js动态加载以及确定加载完成的代码
利用原生js动态加载js文件到页面,并在确定加载完成后调用相关function var otherJScipt = document.createElement("script") ...
- 关于Java导出100万行数据到Excel的优化方案
1>场景 项目中需要从数据库中导出100万行数据,以excel形式下载并且只要一张sheet(打开这么大文件有多慢另说,呵呵). ps:xlsx最大容纳1048576行 ,csv最大容纳1048 ...
- CodeForces 514B
B. Han Solo and Lazer Gun time limit per test 1 second memory limit per test 256 megabytes input sta ...
- 1.2 Quartz 2D 内存管理
本文并非最终版本,如有更新或更正会第一时间置顶,联系方式详见文末 如果觉得本文内容过长,请前往本人 “简书” 通过 Product -> Analyze 来进行静态分析 可以使用Quar ...
- xml转义字符
解析XML文件时,如果有多个转义学符可以用 <![CDATA[含有转义字符的内容]]
- Redis安装部署
Redis是一种高级key-value数据库.它跟memcached类似,不过数据 可以持久化,而且支持的数据类型很丰富.有字符串,链表,集 合和有序集合.支持在服务器端计算集合的并,交和补集(dif ...
- Django框架初入
一.Django 特性 数据库功能强大(利用python的类继承,几行代码就可以实现一个动态的数据库操作接口(API)) 强大的后台功能 优雅的网址(正则匹配网址,传递到对应函数) 模板与缓存系统 二 ...
- 如何在Android中实现全屏,去掉标题栏效果
在进行Android UI设计时,我们经常需要将屏幕设置成无标题栏或者全屏.要实现起来也非常简单,主要有两种方法:配置xml文件和编写代码设置. 1.在xml文件中进行配置 在项目的清单文件A ...
- WPF整理-XAML访问静态属性
"XAML provides an easy way to set values of properties—type converters and the extended propert ...
- 第九周 psp
团队项目PSP 一:表格 C类型 C内容 S开始时间 E结束时间 I时间间隔 T净时间(mins) 预计花费时间(mins) 讨论 讨论用户界面 9:50 12:45 35 45 80 分析与 ...