window下eclipse搭建hadoop环境
1 生成插件jar
1.1 安装java,ant运行环境
1.2 下载hadoop-2.5.0.tar.gz并解压到指定目录
1.3 下载hadoop2x-eclipse-plugin-master.zip并进行解压到指定目录
1.4 进入到hadoop2x-eclipse-plugin-master\build\contrib\eclipse-plugin目录下进行编译
ant jar -Dversion=2.5.0 -Dhadoop.version=2.5.0 -Declipse.home=D:\developtools\eclipse\eclipse-jee-mars-1-win32-x86_64\eclipse\eclipse -Dhadoop.home=D:\developtools\linuxsoftware\hadoop\hadoop-2.5.0\hadoop-2.5.0
1.5 如果编译失败,提示找不到htrace-core-3.0.4.jar,就去mvn中央仓库进行下载,并放入到hadoop-2.5.0\share\hadoop\common\lib目录下,重新执行1.4的操作
1.6 如果编译成功,会在hadoop2x-eclipse-plugin-master\build\contrib\eclipse-plugin目录下生成hadoop-eclipse-plugin-2.5.0.jar
2 将生成的hadoop-eclipse-plugin-2.5.0.jar拷贝到eclipse的dropins目录下,可能有的eclipse版本需要放到plugins目录下,重启eclipse,查看window->preferences下是不是又mapreduce的选项

3 点击步骤2中的Hadoop Map/Reduce选择在右侧的选项卡中填入hadoop.home对应的路径

4 使用eclipse管理hdfs
4.1 关闭eclipse的权限管理(在hdfs-site.xml中配置)
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
4.2 修改当前电脑的用户为hadoop,并重启电脑用该用户登录
5 使用eclipse提交任务到hadoop(https://pan.baidu.com/s/1jIcjNSi)
5.1 下载window下的运行包winutils
5.2 将winutils下的hadoop-2.6.4/bin目录下的文件覆盖到hadoop的bin目录下的所有文件
5.3 复制hadoop\bin\hadoop.dll文件到C:\Windows\System32中
5.4 配置HADOOP_HOME,并将HADOOP_HOME\bin配置到Path变量中
5.5 重启电脑
window下eclipse搭建hadoop环境的更多相关文章
- window下如何搭建linux环境
1.使用虚拟机 使用VMware虚拟机,下载linux内核系统,加载运行. 2.cygwin 安装cygwin,设置环境变量. 第二种方法还是比较简便的.优先考虑.
- 基于Eclipse搭建Hadoop源码环境
Hadoop使用ant+ivy组织工程,无法直接导入Eclipse中.本文将介绍如何基于Eclipse搭建Hadoop源码环境. 准备工作 本文使用的操作系统为CentOS.需要的软件版本:hadoo ...
- 基于Eclipse搭建hadoop开发环境
一.基础环境准备 1.Eclipse 下载地址:http://pan.baidu.com/s/1slArxAP 2.JDK1.8 下载地址:http://pan.baidu.com/s/1i5iNy ...
- Linux 下搭建 Hadoop 环境
Linux 下搭建 Hadoop 环境 作者:Grey 原文地址: 博客园:Linux 下搭建 Hadoop 环境 CSDN:Linux 下搭建 Hadoop 环境 环境要求 操作系统:CentOS ...
- 基于CentOS与VmwareStation10搭建hadoop环境
基于CentOS与VmwareStation10搭建hadoop环境 目 录 1. 概述.... 1 1.1. 软件准备.... 1 1.2. 硬件准备.... 1 2. 安装与配置虚拟机.. ...
- 基于《Hadoop权威指南 第三版》在Windows搭建Hadoop环境及运行第一个例子
在Windows环境上搭建Hadoop环境需要安装jdk1.7或以上版本.有了jdk之后,就可以进行Hadoop的搭建. 首先下载所需要的包: 1. Hadoop包: hadoop-2.5.2.tar ...
- 用标准版的Eclipse搭建PHP环境
用标准版的Eclipse搭建PHP环境 ——@梁WP 摘要:用标准版的Eclipse搭建PHP环境. 一.下载Eclipse的PHP插件 百度搜索phpeclipse,看到某条结果是带有SourceF ...
- 【一】、搭建Hadoop环境----本地、伪分布式
## 前期准备 1.搭建Hadoop环境需要Java的开发环境,所以需要先在LInux上安装java 2.将 jdk1.7.tar.gz 和hadoop 通过工具上传到Linux服务器上 3. ...
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) (转载)
Hadoop在处理海量数据分析方面具有独天优势.今天花了在自己的Linux上搭建了伪分布模式,期间经历很多曲折,现在将经验总结如下. 首先,了解Hadoop的三种安装模式: 1. 单机模式. 单机模式 ...
随机推荐
- 常见的3种Class级别的错误
ClassNotFoundException 很明显,这个错误是找不到类异常,即在当前classpath路径下找不到这个类. ClassNotFoundException继承了Exception,是必 ...
- java虚拟机规范(se8)——java虚拟机的编译(四)
3.12 抛出和处理异常 在程序中使用throw关键字来抛出异常.编译结果很简单. void cantBeZero(int i) throws TestExc { if (i == 0) { thro ...
- Java面试宝典(6)混合(前端 + 数据库)
包括html & JavaScript & Ajax部分/Java web部分/数据库部分 三. html&JavaScript&ajax部分 1. 判断第二个日期比第 ...
- kubernetes容器集群部署Etcd集群
安装etcd 二进制包下载地址:https://github.com/etcd-io/etcd/releases/tag/v3.2.12 [root@master ~]# GOOGLE_URL=htt ...
- redis基础及基本命令
什么是redis Redis是一个Key-value存储系统,redis提供了丰富的数据结构,包括string(字符串),list(列表),sets(集合),ordered set(有序集合),has ...
- [HTML知识体系]语义化标签概论
1.什么是语义化 语义化(Semantic)在HTML5中被大量提起,就是语义化标签向浏览器和开发者展示了它所包裹内容的类型与意思,可是至今我看了好多代码,HTML5新增的语义化标签的使用率还是挺低的 ...
- Solr是什么?
么是Solr?Solr是什么? 答:Solr是一个独立的企业级搜索应用服务器,它对外提供类似于Web-service的API接口. Solr是一个高性能,采用Java开发,基于Lucene的全文搜索服 ...
- typedef 函数指针的使用(含例子)
C代码 //#include<iostream.h> #include<stdio.h> typedef int (*FP_CALC)(int, int); ...
- 关于云计算三大服务模式LAAS,PAAS,SAAS的含义及区别
根据NIST的权威定义,云计算有SPI,即SAAS,PAAS和LAAS三大服务模式,上层是SAAS,中间层是PAAS,底层是LAAS,一层支撑一层. LAAS(Infrastucture-as-a-S ...
- ThreadLocal内存泄漏
原创转载请注明出处:https://www.cnblogs.com/agilestyle/p/11421437.html 内存泄漏 内存泄漏是指不再使⽤的对象⽆法得到及时的回收,持续占⽤内存空间,从⽽ ...