hadoop——配置eclipse下的map-reduce运行环境 1
为了让示例程序run起来:
1)安装eclipse
2)安装map-reduce的eclipse插件
eclipse的map-reduce插件可以很方便的创建hadoop项目(自动导入所依赖的map-reduce jar包)和打开map-reduce视图(在里面可以像查看本机文件系统一样直观的看到hdfs文件系统的结构)
安装详细步骤:
i)查找eclipse的安装路径:
$:whereis eclipse
显然,我们的eclipse安装在/usr/lib/eclipse下,
将map-reduce的eclipse插件copy到/usr/lib/eclipse/plugins目录下:
sudo cp -rf [插件名称] /usr/lib/eclipse/plugins
ii)重启eclipse
iii)配置eclipse中map-reduce插件的设置:
在eclipse-window-preference中,配置当前hadoop的安装路径(eclispe会自动搜索路径下的jar包)
(IV)开启eclipse map-reduce视图:
window View中选择other view,选择map-reduce
(V)开启后,在eclispe的下边栏目中可以看到map-reduce的配置:
(VI)右键,点击配置hadoop的位置:
特别注意:这里的配置要与hadoop的配置文件一样:
Map/Reduce Master的配置在${HADOOP_HOME}/etc/hadoop/map-red.site文件中:
我的配置是:
DFS master的配置在
${HADOOP_HOME}/etc/hadoop/core-site.xml
我的配置是:
由于我配置的是伪分布式,因此map-red master和hdfs master位置都是localhost,将以上配置填入eclipse后确定,就可以在项目栏中看到:
我们可以方便的查看和下载上传本地文件到hdfs中
至此,hadoop map-reduce的eclispe开发环境已经搭建完成。
附件:
1)示例模板程序:
2)map-reduce eclipse插件下载
百度云盘: http://pan.baidu.com/s/1nt5jqyt
hadoop——配置eclipse下的map-reduce运行环境 1的更多相关文章
- Hadoop简介(1):什么是Map/Reduce
看这篇文章请出去跑两圈,然后泡一壶茶,边喝茶,边看,看完你就对hadoop整体有所了解了. Hadoop简介 Hadoop就是一个实现了Google云计算系统的开源系统,包括并行计算模型Map/Red ...
- SAAS云平台搭建札记: (二) Linux Ubutu下.Net Core整套运行环境的搭建
最近做的项目,由于预算有限,公司决定不采购Windows服务器,而采购基于Linux的服务器. 一般的VPS服务器,如果使用Windows系统,那么Windows Server2012\2016安装好 ...
- Ubuntu 下部署asp.net运行环境
在Ubuntu下部署asp.net运行环境,网上教程很多,基本都是编译Mono源码,然后安装jexus.但是可能是我最近RP不太好,编译Mono源码一直都是失败,无奈之下只好找另外的方法安装了. 网上 ...
- ODPS 下一个map / reduce 准备
阿里接到一个电话说练习和比赛智能二选一, 真的很伤心, 练习之前积极老龄化的权利. 要总结ODPS下一个 写map / reduce 并进行购买预测过程. 首先这里的hadoop输入输出都是表的形式, ...
- hadoop入门级总结二:Map/Reduce
在上一篇博客:hadoop入门级总结一:HDFS中,简单的介绍了hadoop分布式文件系统HDFS的整体框架及文件写入读出机制.接下来,简要的总结一下hadoop的另外一大关键技术之一分布式计算框架: ...
- eclipse下python的selenium自动化环境的搭建
前提:安装python,我用的2.7.8版本,并在环境变量path里设置;E:\Python1.解压setuptools(Python包管理工具),cmd到目录执行python setup.py in ...
- eclipse下搭建Drools规则引擎环境
插件下载地址:http://download.jboss.org/drools/release/ 1.点开对应的版本文件,选择标红的两个压缩包下载,其他的如有需要也可以自行选择: 2.将下载的压缩包解 ...
- windows下搭建绿色nodejs运行环境
无意中在网上看到NodeJS的文章,发现最近还挺火的,正好我也是做技术的,那就下载个玩玩呗,试试它的魅力,也来亲自感受下. 网上nodejs的环境的搭建到处都是,我这里就不说了,今天我想通过我自己的环 ...
- 搭建Linux(Ubuntu)系统下的Differential Datalog运行环境
DDlog is a bottom-up, incremental, in-memory, typed Datalog engine. It is well suited for writing pr ...
随机推荐
- Good Bye 2015 C. New Year and Domino 二维前缀
C. New Year and Domino They say "years are like dominoes, tumbling one after the other". ...
- linux c first
创建文件夹mkdir 文件夹名称删除文件夹rm -rf 文件夹名称创建文件touch test.c删除文件rm -f test.c编译gcc -o test test.c在执行只语句后会生成一个*te ...
- photoshopCS4换中文
有些朋友的安装的时候可能安装界面是全中文的,安装完软件是英文的. 下载这个中文包, http://download.csdn.net/download/tuberose1605/5171091 解压后 ...
- C#之你懂得的反射
前言:反射在C#中虽然不常用(如果不需要动态加载xx.dll),但是有时候却是设计某个程序或者完成某类功能比较好用的技术.比如:一个支持动态扩展的程序,这样就需要动态加载dll,动态创建加载dll的程 ...
- DXT纹理压缩
转:http://blog.csdn.net/lhc717/article/details/6802951 我们知道游戏中对于3D物体表面细节的表现最重要的还是靠贴图来实现的,那么越是高分辨率越是真彩 ...
- 297. Serialize and Deserialize Binary Tree
题目: Serialization is the process of converting a data structure or object into a sequence of bits so ...
- 5、java反射基础
Class对象: Class对象记录了所有与类相关的信息,当类加载器从文件系统中加载.class文件到JVM中的同时会为每一个类创建一个Class对象.通过Class对象可以获取到类的属性.方法.构造 ...
- Linux上的运行的jar包
以调用json-simple为例 java程序(CsvTest.java) import org.json.simple.JSONObject; import java.util.*; public ...
- 如何创建PostgreSQL数据库
PostgreSQL提供两种方式创建一个新的数据库:第一种是使用CREATE DATABASE的SQL命令.第二种使用createdb的一个命令行可执行文件. 第一种:使用CREATE DATABAS ...
- ZOJ Problem Set - 3804 YY's Minions
http://acm.zju.edu.cn/onlinejudge/showProblem.do?problemId=5336 比较简单的模拟题,题意也很好理解. #include <iostr ...