Eclipse的Hadoop插件在开发hadoop应用程序中可以提供一些很方便的操作,可以直接Eclipse中浏览HDFS上的文件,可以直接新建选择MapReduce项目,项目自动包含所有需要的hadoop jar包,不必再手动拷贝。

一、安装Ant工具

   Ant是一种Java的项目打包管理工具,类似于Maven,操作比Maven简单。本次Eclipse Hadoop插件使用Ant进行编译,如果本机已安装Ant,请略过这一步骤。

1、下载Ant

   到官网(http://ant.apache.org/bindownload.cgi)下载最新的Ant包,本实验版本:apache-ant-1.9.5-bin.zip

2、配置环境变量

   1) Windows:① 环境变量新增:ANT_HOME=D:\apache-ant-1.9.5;② classpath新增:%ANT_HOME%\lib;③ path新增:%ANT_HOME%\lib。

   2) Linux:① /etc/profile新增:export ANT_HOME=/usr/local/ant;② 执行命令:source /etc/profile。

   验证安装:ant -version

二、使用ant编译插件

1、下载hadoop2.x插件

   https://github.com/hduhans/hadoop2x-eclipse-plugin-master

2、开始编译

   1) 打开命令行,进入插件解压后src/contrib/eclipse-plugin目录中;

   2) 执行编译命令:ant jar -Dversion=2.6.0 -Declipse.home=D:\desktop\eclipse -Dhadoop.home=D:\desktop\hadoop-2.6.0;

     其中Declipse.home为ecipse根目录,Dhadoop.home为hadoop根目录。

   3) 等待编译成功,出现如下“BUILD SUCCESSFUL”提示文字,说明编译成功;

    编译成功的jar包位于:build/contrib/eclipse-plugin/hadoop-eclipse-plugin-2.6.0.jar

三、在Eclipse中添加编译生成的jar插件

1、将编译后的 build/contrib/eclipse-plugin/hadoop-eclipse-plugin-2.6.0.jar 拷贝到 eclipse/plugins 目录中,重启eclipse;

2、在eclipse菜单中选择 windows → show view → other ,在弹出的对话框中选择“Map/Reduce Locations”,点击确定;

3、在控制台的“Map/Reduce Locations”页签空白处点击右键,选择“New Hadoop location”,填写参数,如下所示:

图2.1 New Hadoop location参数填写说明

   其中Map/Reduce Master的端口地址该怎么填写,网上大都资料为hadoop1.x的mapred.job.tracker的端口号,但在hadoop2.x中已使用yarn来代替jobtracker,猜测这里填写mapreduce.jobtracker.http.address的端口值50030,也有资料说填写dfs.datanode.ipc.address端口值50020,具体填写何值有待进一步确认。

3、打开 Windows → Hadoop Map/Reduce ,右侧选择hadoop2.6所在路径:D:\desktop\hadoop-2.6.0;

4、打开 Windows → show view → other ,选择“Project Explorer”,可以在 DFS Locations 中看到HDFS的目录结构;

图2.2 Eclipse Hadoop插件浏览HDFS目录

5、新建MapReduce项目,打开 New → Project ,选择“Map/Reduce Project”,输入项目名即可,项目创建后会自动导入hadoop下所需的jar包。

Hadoop2.x的Eclipse插件编译与安装的更多相关文章

  1. Hadoop2.2.0 eclipse插件编译及Ecliipse配置说明(图文版)

    一.引言: 最近在做一个城商行项目的POC测试it版本,涉及到编译Linux64bti的源码和开发插件使用,作为笔记分享给大家. 二.插件编译 Hadoop2x版本的Eclipse插件已经单独抽取成独 ...

  2. hadoop2.6.0的eclipse插件编译和设置

    编译hadoop2.6.0的eclipse插件 下载源码: git clone https://github.com/winghc/hadoop2x-eclipse-plugin.git 编译源码: ...

  3. Hadoop-2.3.0的Eclipse插件编译

    Hadoop-2.3.0的Eclipse插件编译 #cd /usr/local/src/hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugi ...

  4. hadoop 1.2.1 eclipse 插件编译

    hadoop-1.2.1 eclipse插件编译       在ubuntu上进行hadoop相关的开发,需要在eclipse上安装hadoop开发插件.最新释放出的hadoop包含源码的包,以had ...

  5. Eclipse插件CheckStyle的安装和使用

    转载自:http://www.cnblogs.com/lanxuezaipiao/p/3202169.html CheckStyle是SourceForge下的一个项目,提供了一个帮助JAVA开发人员 ...

  6. hadoop-1.2.0 eclipse插件编译

    linux.windows下通用,亲测. 下面以window为例,假设:hadoop工程目录位于D:\work\eclipse64\hadoop-1.2.0.1.3.0.0,eclipse安装目录为E ...

  7. hadoop2对应的eclipse插件使用

    1. eclipse插件安装步骤: a).把插件复制到eclipse安装目录plugins文件夹下 b).打开eclipse的Window---Preference---Hadoop M/R---指向 ...

  8. 分享一下 Eclipse 插件 PyDev 的安装

    想趁暑假学习一下python,学好语言好的开发环境是基础.因为安装有eclipse,所以想安装PyDev插件作为python开发环境.本来以为是一件简单的事情,结果整整弄了一下午各种装不上,度娘上的几 ...

  9. Eclipse插件的各种安装方法

    这篇文章我们总结下安装Eclipse的各种方法,首先一下的步骤都是在版本为“Kepler Service Release 1”的Eclipse下完成的.如果你的Eclipse版本不是"Kep ...

随机推荐

  1. js动态加载以及确定加载完成的代码

    利用原生js动态加载js文件到页面,并在确定加载完成后调用相关function var otherJScipt = document.createElement("script") ...

  2. 关于Java导出100万行数据到Excel的优化方案

    1>场景 项目中需要从数据库中导出100万行数据,以excel形式下载并且只要一张sheet(打开这么大文件有多慢另说,呵呵). ps:xlsx最大容纳1048576行 ,csv最大容纳1048 ...

  3. CodeForces 514B

    B. Han Solo and Lazer Gun time limit per test 1 second memory limit per test 256 megabytes input sta ...

  4. 1.2 Quartz 2D 内存管理

    本文并非最终版本,如有更新或更正会第一时间置顶,联系方式详见文末 如果觉得本文内容过长,请前往本人 “简书”   通过 Product -> Analyze 来进行静态分析   可以使用Quar ...

  5. xml转义字符

    解析XML文件时,如果有多个转义学符可以用 <![CDATA[含有转义字符的内容]]

  6. Redis安装部署

    Redis是一种高级key-value数据库.它跟memcached类似,不过数据 可以持久化,而且支持的数据类型很丰富.有字符串,链表,集 合和有序集合.支持在服务器端计算集合的并,交和补集(dif ...

  7. Django框架初入

    一.Django 特性 数据库功能强大(利用python的类继承,几行代码就可以实现一个动态的数据库操作接口(API)) 强大的后台功能 优雅的网址(正则匹配网址,传递到对应函数) 模板与缓存系统 二 ...

  8. 如何在Android中实现全屏,去掉标题栏效果

    在进行Android UI设计时,我们经常需要将屏幕设置成无标题栏或者全屏.要实现起来也非常简单,主要有两种方法:配置xml文件和编写代码设置.   1.在xml文件中进行配置   在项目的清单文件A ...

  9. WPF整理-XAML访问静态属性

    "XAML provides an easy way to set values of properties—type converters and the extended propert ...

  10. 第九周 psp

    团队项目PSP 一:表格     C类型 C内容 S开始时间 E结束时间 I时间间隔 T净时间(mins) 预计花费时间(mins) 讨论 讨论用户界面 9:50 12:45 35 45 80 分析与 ...