前言

Windows下运行Hadoop,通常有两种方式:一种是用VM方式安装一个Linux操作系统,这样基本可以实现全Linux环境的Hadoop运行;另一种是通过Cygwin模拟Linux环境。后者的好处是使用比较方便,安装过程也简单,本篇文章是介绍第二种方式Cygwin模拟Linux环境。

准备工作

(1)安装JDK1.6或更高版本,安装时注意,最好不要安装到带有空格的路径名下,例如:Programe Files,否则在配置Hadoop的配置文件时会找不到JDK。

(2)hadoop官网下载hadoop http://hadoop.apache.org/releases.html 。

安装Cygwin

Cygwin是Windows平台下模拟Unix环境的工具,需要在安装Cygwin的基础上安装Hadoop,下载地址:http://www.cygwin.com/ 根据操作系统的需要下载32位或64的安装文件。

一、双击下载好的安装文件,点击下一步进入程序引导安装页,这里有三个选项,选择第一项网络安装:

  • 网络安装:通过网络下载并安装软件包
  • 下载但不安装:通过网络下载软件包
  • 本地安装:是用本地软件包安装

二、选择install from internet

三、选择安装路径

 

三、选择local Package Directory

 

四、选择您的Internet连接方式

 

五、选择合适的安装源,点击下一步

六、这一步比较重要,以下软件包要确保被安装:

在Select Packages界面里,Category展开net,选择如下openssh和openssl两项

  

如果要在Eclipe上编译Hadoop,需要安装Category为Base下的sed

  

如果想在Cygwin上直接修改hadoop的配置文件,可以安装Editors下的vim

  

七、点击“下一步”,等待安装完成。

八、配置环境变量

在“我的电脑”上点击右键,选择菜单中的“属性",点击属性对话框上的高级页签,点击”环境变量"按钮,在系统变量列表里双击“Path”变量,在变量值后输入安装的Cygwin的bin目录,例如:D:\cygwin64\bin

久、安装sshd服务

双击桌面上的Cygwin图标,启动Cygwin,执行ssh-host-config -y命令,执行后,会提示输入密码。

                                        
 

 
此时输入密码和确认密码,回车。最后出现Host configuration finished.Have fun!表示安装成功。

 

输入net start sshd,启动服务。或者在系统的服务里找到并启动Cygwin sshd服务。

安装hadoop


前面部分在公司电脑操作,以下安装操作在本机操作,过程不受影响。

下载hadoop


hadoop官网下载地址: http://hadoop.apache.org/releases.html 。

把hadoop压缩包解压到/home/用户名 目录下,文件夹名称更改为hadoop,可以不修改,但后边在执行命令时稍显麻烦。

(1)单机模式配置方式



  单机模式不需要配置,这种方式下,Hadoop被认为是一个单独的Java进程,这种方式经常用来调试。



 (2)伪分布模式



  可以把伪分布模式看作是只有一个节点的集群,在这个集群中,这个节点既是Master,也是Slave,既是NameNode,也是DataNode,既是JobTracker,也是TaskTracker。

伪分布模式只需要修改几个配置文件即可。

配置hadoop-env.sh,记事本打开改文件,设置JAVA_HOME的值为你的JDK安装路径,例如:

JAVA_HOME="D:\javatools\jdk1.6.0"

配置core-site.xml

  1. <?xml version="1.0"?>
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  3. <!-- Put site-specific property overrides in this file. -->
  4. <configuration>
  5. <property>
  6.     <name>fs.default.name</name>
  7.     <value>hdfs://localhost:9000</value>
  8.   </property>
  9.   <property>
  10.     <name>mapred.child.tmp</name>
  11.     <value>/home/u/hadoop/tmp</value>
  12.   </property>
  13. </configuration>

 配置hdfs-site.xml

  1. <?xml version="1.0"?>
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  3. <!-- Put site-specific property overrides in this file. -->
  4. <configuration>
  5. <property>
  6.   <name>dfs.replication</name>
  7.   <value>1</value>
  8. </property>
  9. </configuration>

 配置mapred-site.xml

  1. <?xml version="1.0"?>
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  3. <!-- Put site-specific property overrides in this file. -->
  4. <configuration>
  5. <property>
  6.        <name>mapred.job.tracker</name>
  7.        <value>localhost:9001</value>
  8.       </property>
  9.       <property>
  10.        <name>mapred.child.tmp</name>
  11.        <value>/home/u/hadoop/tmp</value>
  12.       </property>
  13. </configuration>

启动hadoop

打开Cgywin窗口,执行cd ~/hadoop命令,进入hadoop文件夹,启动Hadoop前,需要先格式化Hadoop的文件系统HDFS,执行命令:bin/hadoop
namenode -format,(注意:namenode要小些,否则如果输入NameNode,会提示错误,找不到或无法加载主类NameNode。)如下图:

输入命令 bin/start-all.sh,启动所有进程。

验证是否成功安装


打开浏览器,输入网址:http://localhost:50030
    然后回车,如果能访问则安装成功。访问截图如下:

参考文献:《Hadoop实战》

Windows上搭建hadoop开发环境的更多相关文章

  1. 在windows上搭建hadoop开发环境

    下载hadoop: http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common 点击下面链接进行下载 然后进行解压 如果解压出现下面的情况 则用管 ...

  2. 如何在Windows上搭建Android开发环境

    Android开发越来越火,许多小伙伴们纷纷学习Android开发,学习Android开发首要任务是搭建Android开发环境,由于大家 主要实在Windows 上开发Android,下面就详细给大家 ...

  3. Windows上搭建android开发环境

    在搭建android开发环境时需要四部分内容,框架如下 其中Java SDK和Eclipse在java4android中有过介绍,重点介绍ADT和Android SDK的安装. 安装Android S ...

  4. Hadoop学习之路(八)在eclispe上搭建Hadoop开发环境

    一.添加插件 将hadoop-eclipse-plugin-2.7.5.jar放入eclipse的plugins文件夹中 二.在Windows上安装Hadoop2.7.5 版本最好与Linux集群中的 ...

  5. 入门: 在Windows上搭建Flutter开发环境

    使用镜像 由于在国内访问Flutter有时可能会受到限制,Flutter官方为中国开发者搭建了临时镜像,大家可以将如下环境变量加入到用户环境变量中: export PUB_HOSTED_URL=htt ...

  6. 【Hadoop】Win7上搭建Hadoop开发环境,方法一

    在Win7上,编写hadoop程序 操作系统:win7 hadoop版本:CDH3u6 1.下载安装JDK,以及Eclipse 2.新建JAVA Project 3.去cloudera网站下载hado ...

  7. 【Hadoop】:Windows下使用IDEA搭建Hadoop开发环境

    笔者鼓弄了两个星期,终于把所有有关hadoop的环境配置好了,一是虚拟机上的完全分布式集群,但是为了平时写代码的方便,则在windows上也配置了hadoop的伪分布式集群,同时在IDEA上就可以编写 ...

  8. Windows系统上搭建Clickhouse开发环境

    Windows系统上搭建Clickhouse开发环境 总体思路 微软的开发IDE是很棒的,有两种:Visual Studio 和 VS Code,一个重量级,一个轻量级.近年来VS Code越来越受欢 ...

  9. 在WP8上搭建cocos2d-x开发环境

    在WP8上搭建cocos2d-x开发环境 转自:https://github.com/koowolf/cocos-docs/blob/master/manual/framework/native/in ...

随机推荐

  1. 3DTouch开发 (基础)

    一.3DTouch开发准备工作(让模拟器也支持 3DTouch 的解决办法) 需要支持3DTouch的设备,如iPhone6s或以上.iOS9或以上.Xcode7或以上,估计很多和我一样的屌丝还没有i ...

  2. PL/SQL不支持64位Oracle Client 解决办法

    解决X64操作系统PL/SQL连接报错问题 make sure you have the 32 bits oracle client installed 说明PLSQL Developer并不支持Or ...

  3. java操作MySQL数据库(插入、删除、修改、查询、获取所有行数)

    插播一段广告哈:我之前共享了两个自己写的小应用,见这篇博客百度地图开发的两个应用源码共享(Android版),没 想到有人找我来做毕设了,年前交付,时间不是很紧,大概了解了下就接下了,主要用到的就是和 ...

  4. SignalR实时推送

    SignalR 的实现机制与 .NET WCF 或 Remoting 是相似的,都是使用远程代理来实现.在具体使用上,有两种不同目的的接口:PersistentConnection 和 Hubs,其中 ...

  5. SpringMvc自定义拦截器

    SpringMvc也可以使用拦截器对请求进行拦截处理,用户可以自定义拦截器来实现特定的功能,自定义拦截器必须实现HandlerInterceptor接口 -preHandle():这个方法在业务处理器 ...

  6. JS实时数据运算

    应朋友需要制作的一个小页面 <script type="text/javascript"> function cal(ida,idb,idc,idd) { var nu ...

  7. CSS3:transform translate transition 这些都是什么?

    transform:一个属性名称,即CSS3 2D转换 属性. translate:一个属性函数,用法是translate(dx,dy) div { transform: translate(50px ...

  8. android的listview的详细用法

    listview是android开发中的一个极其重要的控件.所以,要学会android,如果这个不会,基本是不会android的. 这里按照几个步骤介绍这个控件的使用. 1. 使用API中ArrayA ...

  9. 开始跟踪Redis啦,开帖

    随着NoSql的流行,对这方面的产品开始关注起来,之前一直只是看看.从昨天开始决定把Redis的实现机制啃下来,毕竟代码量也就2W行. 每天花时间看看,记录下成果. here we go.

  10. 利用ksoap调用webservice

    博文参考: http://www.cnblogs.com/shenliang123/archive/2012/07/05/2578586.html http://blog.csdn.net/jimbo ...