在Eclipse下搭建Hadoop开发环境
在前面的博文中博主展示了如何在虚拟机中搭建Hadoop的单节点伪分布集群,今天给大家介绍一下如何在Eclipse环境中搭建Hadoop的管理和开发环境,话不多说,下面我们就进入正题吧!
1.JDK安装配置
如果还没有安装Eclipse的朋友们需要先安装并配置好JDK,再下载安装Eclipse,这些我相信大家走到这一步的时候肯定都会了,就不赘述了。接下来,进入Hadoop环境搭建。
2.Hadoop插件安装和配置
在Eclipse配置Hadoop环境之前应该是没有对应插件的(进入Eclipse —> Windows —> Preferences),如下图所示。

要安装Hadoop插件的话我们得先知道所安装的Hadoop版本,这样才能对症下药安装对应插件。这需要在我们的虚拟机(或Xshell等远程连接工具)中进行查看,操作如下图所示。

如图所示,博主安装的Hadoop版本为2.2.0,所以需要安装对应的插件,插件下载地址为:32位版JDK下载hadoop2.2 32位版Windows运行包,64位版JDK下载hadoop2.2 64位版Windows运行包。
下载完成之后,将其放到你所安装的Eclipse目录下的dropins文件下。

然后,我们重启一下,然后再次进入Windows —> Preferences可看到我们已经成功安装好了Hadoop插件(如下图所示),接下来我们要对其进行配置。

点击Hadoop Map/Reduce选项,进入配置页面,点击Browse,选择Hadoop安装路径(能够看到bin文件夹的路径)填入其中。是的,配置就是这么简单。

3. 配置环境变量
从桌面电脑图标右键进入“属性”界面,选择“高级系统配置”,选择“环境变量”,然后选择“系统变量”下的新建,添加一个HADOOP_HOME的变量,变量值为HADOOP安装路径(能够看到bin文件夹的路径),博主的为:D:\Software\Hadoop2.2\hadoop-2.2.0-x64


接下来,往系统变量Path里追加“;HADOOP_HOME\bin”,注意:win10系统按照以下格式添加,win7应该是字符串格式,如果没有分号一定要自己补上!
4. 配置Map/Reduce Locations
打开 Windows—> show view —> Other,选择MapReduce Tools下的Map/Reduce Locations。

点击下图右上角位置的小象,进入配置页面。


其中,Location name自定义一个名字就行,配置Map/Reduce Master和DFS Mastrer,Host和Port配置成与core-site.xml的设置一致即可(Host为hadoop节点的hostname,DFS Mastrer下的port为HDFS端口号,User name为安装Hadoop节点用户名称,如下图)。

配置好上面的hostname后,需要添加一条hostname 的解析。 在Windows下,以管理员的身份打开C:\Windows\System32\drivers\etc\hosts文件,并追加以下字段(hostname对应个人的配置)。


5. 测试
在虚拟机中启动集群

点击Eclipse右上角的小象图标,然后就可以看到Hadoop节点的信息了。

此时,在虚拟机中用Shell命令的形式可以对Hadoop进行管理,比如新建目录、文件、上传和下载等操作和在Eclipse下的可视化操作都是同步的了(如果没有同步请先右键点击refresh刷新一下),也就是说可以同步对Hadoop进行管理和开发。在这种情况下当然是在Eclipse中更简便咯,这也就是我们本次教程的目的所在。


此时,我们也可以从浏览器中查看一下我们Hadoop节点的信息。


显然,不论是从虚拟机、Eclipse还是浏览器,我们所看到的内容都是同步。所以,我们的配置是成功的!接下来我们将会在后面的博文中通过一些小例子进入实战学习吧。
以上就是博主为大家介绍的这一板块的主要内容,这都是博主自己的学习过程,希望能给大家带来一定的指导作用,有用的还望大家点个支持,如果对你没用也望包涵,有错误烦请指出。如有期待可关注博主以第一时间获取更新哦,谢谢!
版权声明:本文为博主原创文章,未经博主允许不得转载。
在Eclipse下搭建Hadoop开发环境的更多相关文章
- Linux下搭建hadoop开发环境-超详细
先决条件:开发机器需要联网 已安装java 已安装Desktop组 1.上传安装软件到linux上: 2.安装maven,用于管理项目依赖包:以hadoop用户安装apache-maven-3.0.5 ...
- 在Eclipse下搭建Android开发环境教程
我们昨天向各位介绍了<在NetBeans上搭建Android SDK环境>,前不久也介绍过<在MyEclipse 8.6上搭建Android开发环境>, 都受到了读者的欢迎.但 ...
- 【转】在Eclipse下搭建Android开发环境教程
本文将全程演示Android开发环境的搭建过程,无需配置环境变量.所有软件都是写该文章时最新版本,希望大家喜欢. 一 相关下载 三 Eclipse配置 (1)Java JDK下载 1 安装andr ...
- 【大数据系列】windows环境下搭建hadoop开发环境使用api进行基本操作
前言 搭建完hadoop集群之后在windows环境下搭建java项目进行测试 操作hdfs中的文件 版本一 package com.slp.hadoop274.hdfs; import java.i ...
- Linux中Eclipse下搭建Web开发环境
0. 准备工作 java环境,Linux下基本上都有含开源jdk的库,可直接下载,且不用配置环境变量,当然也可以官网下载后自己配置: Eclipse Neon,注意看清是64位还是32位,下载的应该是 ...
- 【Hadoop】:Windows下使用IDEA搭建Hadoop开发环境
笔者鼓弄了两个星期,终于把所有有关hadoop的环境配置好了,一是虚拟机上的完全分布式集群,但是为了平时写代码的方便,则在windows上也配置了hadoop的伪分布式集群,同时在IDEA上就可以编写 ...
- mac os 下搭建android开发环境
mac os 下搭建android开发环境 周银辉 mac os 下搭建android环境比较方便, 如下几个步骤: 1,安装jdk 先搞清楚自己是否已经安装,在命令行下:java -version, ...
- mac 下搭建 Android 开发环境
因工作需要,要在mac 下搭建 Android 开发环境.谷歌.度娘了好久,没有找个一个完整又系统的方法,很是苦恼.最终,皇天不负有心人,找到了下面这篇文档,结合亲身体验,特此记录.也为有这方面需求的 ...
- [转]在Eclipse中搭建Python开发环境
在Eclipse中搭建Python开发环境 来自: http://hi.baidu.com/hqwfreefly/blog/item/2543181d0afd9604314e150e.html 前言 ...
随机推荐
- Scrapy,终端startproject,显示错误TimeoutError: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。
F:\python_project\test>scrapy startproject spz Traceback (most recent call last): File "d:\p ...
- MySQL与EXCEL sum sumif sumifs 函数结合_品牌汇总_20161101
计算一些数不难,整体来说还是要培养自我的逻辑意识,逻辑清楚,代码自然而然就知道,总体上训练自己的逻辑,一个是从用户角度,一个是从产品角度. 用户角度需要考虑的是用户的活跃度,具体又可以细分为用户的注册 ...
- Codeforces 756C Nikita and stack
Codeforces 756C Nikita and stack 题目大意: 给定一个对栈进行操作的操作序列,初始时序列上没有任何操作,每一次将一个本来没有操作的位置变为某一操作(push(x),po ...
- Linux MySQL5.5的安装
1.安装cmake [root@server1 src]# cd /opt/ipnms/src[root@server1 src]# tar zxvf cmake-2.8.4.tar.gz[root@ ...
- Vijos1579:宿命的PSS
背景 P.S.S:“我来自哪里?”WH:“你来自一个图.”P.S.S:“我是谁?”WH:“你是最小生成树.”P.S.S:“我又要到哪里去?”WH:“你要成为一个最小完全图(边权之和最小的完全图).”P ...
- ReSIProcate源码目录下功能说明
1.basicCall,basicMessage,basicRegister,resip_test测试用的 2.db_static Sleepy Cat开发的Berkeley DB 3.dum为Dia ...
- scaleform中ActionScript和UnrealScript的交互
转自:http://www.cnblogs.com/NEOCSL/p/4174134.html scaleform是制作UI的好工具: 1.他可以解放程序员用代码控制的UI效果,例如平移,旋转和缩放都 ...
- java基础知识 学习 关于URL中传递的参数含有特殊字符
有些符号在URL中是不能直接传递的,如果要在URL中传递这些特殊符号,那么就要使用他们的编码了.下表中列出了一些URL特殊符号及编码 ...
- GET和POST的区别及get和post关于请求的编解码的问题
GET和POST的本质区别是什么? 使用GET,form中的数据将编码到url中,而使用POST的form中的数据则在http协议的header中传输.在使用上,当且仅当请求幂等(字面意 ...
- <正则吃饺子> :关于oracle 中 with的简单使用
oracle中 with的简单使用介绍,具体可以参见其他的博文介绍,在这里只是简单的介绍: with 构建了一个临时表,类似于存储过程中的游标,我是这么理解的. 一.数据准备: select * fr ...