概述

本文记录windows下hadoop本地开发环境的搭建:

OS:windows
hadoop执行模式:独立模式

安装包结构:

Hadoop-2.6.0-Windows.zip
- cygwinInstall // cygwin离线安装包
- hadoop-2.6.0-windows.tar.gz // hadoop-2.6.0 windows安装包

PS:

hadoop-2.6.0-windows.tar.gz是基于官方发行包hadoop-2.6.0.tar.gz,并为windows单机測试而自己定义的包,修改例如以下:
1. 在bin文件夹下,加入了hadoop.dll和winutils.exe
2. 修改了org\apache\hadoop\io\nativeio\NativeIO.java源代码第558行 *因为源代码有修改,此包不能用于生产环境,仅仅限于windows环境下的开发測试

1. 安装cygwin

  1. 双击cygwinInstall下的setup-x86_64.exe
  2. 选择从本地安装

  3. 选择安装位置

  4. 选择本地安装文件位置

  5. 点击All旁边的default,使其变为Install,再点击下一步就可以開始安装

2. 安装hadoop

  1. 在cygwin的根文件夹下。建立opt文件夹,并把安装包复制到opt文件夹下

    cd /; mkdir opt

  2. 解压

    cd /opt; tar xzf hadoop-2.6.0-windows.tar.gz

  3. 环境变量设置

    设置windows环境变量HADOOP_PREFIX指向hadoop安装文件夹

    设置windows环境变量HADOOP_HOME指向hadoop安装文件夹

    设置windows环境变量JAVA_HOME指向java安装文件夹

    Path环境变量后追加:;%HADOOP_HOME%\bin

  4. ~/.bashrc中设置下面环境变量:

    export HADOOP_CLASSPATH=$(cygpath -pw $(hadoop classpath)):$HADOOP_CLASSPATH

  5. 使~/.bashrc生效,并验证hadoop是否工作

    source ~/.bashrc

    验证hadoop:

    hadoop version

    若正常显示版本号信息则成功安装

  6. 执行演示样例代码。验证hadoop是否可以执行mapreduce

    cd /opt/hadoop-2.6.0; mkdir input; cd input; echo "Hello World" > test

    hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount input output

    若正常执行则显示:

    在/opt/hadoop-2.6.0/output下会生成part-r-00000文件,包括下面内容:

    Hello   1
    world 1

3. idea开发环境配置

  1. 创建一个mapreduce项目

  2. 选择项目。按下F12。加入外部依赖

  3. 加入HADOOP_HOME下必要的jar包

  4. 进入执行配置

  5. 配置执行參数

    Working directory设置为hadoop安装文件夹

    并设置输入參数

  6. 调试

    和普通java程序一样打断点进行调试

windows下搭建hadoop-2.6.0本地idea开发环境的更多相关文章

  1. Windows环境下搭建Hadoop(2.6.0)+Hive(2.2.0)环境并连接Kettle(6.0)

    前提:配置JDK1.8环境,并配置相应的环境变量,JAVA_HOME 一.Hadoop的安装 1.1 下载Hadoop (2.6.0) http://hadoop.apache.org/release ...

  2. 第九章 搭建Hadoop 2.2.0版本HDFS的HA配置

    Hadoop中的NameNode好比是人的心脏,非常重要,绝对不可以停止工作.在hadoop1时代,只有一个NameNode.如果该NameNode数据丢失或者不能工作,那么整个集群就不能恢复了.这是 ...

  3. 本地windows下搭建git的本地服务器

    本地windows下搭建git的本地服务器 准备工作: 本地安装java环境,配置环境变量(略) 下载gitblit文件,百度一大堆 开始第一步: 减压gitblit压缩包到某个目录下,比如我在:H: ...

  4. Windows下搭建Spark+Hadoop开发环境

    Windows下搭建Spark+Hadoop开发环境需要一些工具支持. 只需要确保您的电脑已装好Java环境,那么就可以开始了. 一. 准备工作 1. 下载Hadoop2.7.1版本(写Spark和H ...

  5. Windows下搭建本地SVN服务器【转】

    转自:http://www.linuxidc.com/Linux/2015-01/111563.htm 本文介绍Windows下搭建本地SVN服务器的方法,网上资料比较少也比较旧,大都介绍的是旧版本S ...

  6. Android学习——windows下搭建Cygwin环境

    在上一篇博文<Android学习——windows下搭建NDK_r9环境>中,我们详细的讲解了在windows下进行Android NDK开发环境的配置,我们也讲到了在NDk r7以后,我 ...

  7. Windows上搭建hadoop开发环境

    前言 Windows下运行Hadoop,通常有两种方式:一种是用VM方式安装一个Linux操作系统,这样基本可以实现全Linux环境的Hadoop运行:另一种是通过Cygwin模拟Linux环境.后者 ...

  8. Windows下搭建MySQL Master Slave[转]

    Windows下搭建MySQL Master Slave 一.背景 服务器上放了很多MySQL数据库,为了安全,现在需要做Master/Slave方案,因为操作系统是Window的,所以没有办法使用k ...

  9. windows下搭建Cygwin环境

    windows下搭建Cygwin环境 在上一篇博文<Android学习——windows下搭建NDK_r9环境>中,我们详细的讲解了在windows下进行Android NDK开发环境的配 ...

随机推荐

  1. Android 流量分析 tcpdump &amp; wireshark

    APP竞争已经白热化了,控制好自己Android应用的流量能够给用户一个良好的用户体验噢,给用户多一个不卸载的理由. Android 怎样进行流量分析?用好tcpdump & wireshar ...

  2. 使用google API之前需要對input 做什麼 安全性的處理?

    我正要使用node.js 和 google map api做一个小应用,Google MAP API的使用URL如下: https://maps.googleapis.com/maps/api/pla ...

  3. linq replace with single call to FirstOrDefault 解决使用resharper产生的警告

    使用resharper时对linq使用的FirstOrDefault 一直产生一个警告, 解决办法: 参考The Linq FirstOrDefault() Method and Null Resul ...

  4. hdu 1022 - 数据结构 栈

    题目链接 按序列a进栈,问能不能按序列b出栈. 遍历b,如果当前元素进过栈了,那么必须和栈顶元素相同.如果没进过栈则按a序列压栈,直到遇到当前元素. #include <iostream> ...

  5. [HNOI2008]水平可见直线 单调栈

    题目描述:在xoy直角坐标平面上有n条直线L1,L2,...Ln,若在y值为正无穷大处往下看,能见到Li的某个子线段,则称Li为可见的,否则Li为被覆盖的.例如,对于直线:L1:y=x; L2:y=- ...

  6. JavaScript:理解prototype与__proto__,原型与原型链

    JS中的继承是原型继承,通过原型实现的.为了理解原型,我想先讲讲对象的内部属性[[prototype]]和属性__proto__,函数的属性prototype. 对象的内部属性[[prototype] ...

  7. 【ICM Technex 2018 and Codeforces Round #463 (Div. 1 + Div. 2, combined) A】 Palindromic Supersequence

    [链接] 我是链接,点我呀:) [题意] 在这里输入题意 [题解] 字符串倒着加到原串右边就好 [代码] #include <bits/stdc++.h> using namespace ...

  8. IPMI远程管理一点记录

    http://www.07net01.com/storage_networking/IPMIyuanchengguanliyidianjilu_53093_1357975254.html

  9. cocos2d-x 显示触摸操作(显示水波点击效果,用于视频演示)

    昨天刚刚參加玩游戏设计大赛, 积累了一些东西. 接下去将会逐个分享出来. 首先是显示触摸操作. 由于要演示我们的作品.使用试玩过程中, 假设没办法显示我们的触摸操作(像录制视频一样, 点击了屏幕某点, ...

  10. 《Spring技术内幕》笔记-第四章 Spring MVC与web环境

    ​上下文在web容器中的启动 1,IoC容器的启动过程 IoC的启动过程就是建立上下文的过程.该上下文是与ServletContext相伴.在Spring中存在一个核心控制分发器,Dispatcher ...