Windows下Hadoop的环境安装[转]
1.下载并安装Cygwin,记得cygwin安装中要把SSH选择上,因为后面Hadoop会用到,不详述cygwin的安装过程.我是安装在D:\cygwin下
2.配置系统环境变量
在windows命令行中输入unix命令,可以执行则说明cygwin和环境变量配置成功.
3.打开D:\cygwin\Cygwin.bat,配置ssh,执行命令ssh-host-config
因为我已经配置过,并用ssh服务已经启动,所以报错了,你们在配置的时候一路YES即可,有兴趣的也可以看一下英文说明,都配置了哪些东东.
当看到"HAVE FUN"则表明配置成功.
这时候会在你的系统上增加一个SSH服务,启动之
4.配置生成RSA密钥对,使SSH可以无密码登陆,以方便后面Hadoop的启动
在cygwin的控制台中输入ssh localhost,这时候输入密码(当前windows登陆用户密码)按理说应该可以登进去.在此我纠结了很久,明明密码是对的,却怎么也登不了.这时要创建用户组与密码.
在cygwin的控制台中输入如下命令:
mkpasswd –cl > /etc/passwd
mkgroup --local > /etc/group
OK,现在可以生成RSA密钥对实现密码登陆了
cygwin的控制台中
1)输入"ssh-keygen"全部直接回车
2)"cd ~/.ssh"
此时应该有以上两个文件,id_rsa.pub即是公钥
3)"cp id_rsa.pub authorized_keys" authorized_keys是SSH登陆时候自动去取的公钥文件,当与id_rsa匹配时就可以无密码登陆.
4)"ssh localhost"已经不用密码了
-----------------------------------------------到此cygwin及SSH配置完成---割一下-----------------------------------------
5.解压hadoop-1.0.3.tar.gz到D:\hadoop\run,目录可以自己安排
以下要修改若干配置,兄弟们淡定
1)D:\hadoop\run\conf\hadoop-env.sh文件中配置 "export JAVA_HOME=D:/bea/jdk160_05" JDK为自己机器上JDK地址,记得要把这句话前面的"#"去掉
2)将D:\hadoop\run\src\core\core-defult.xml复制为D:\hadoop\run\conf\core-site.xml并替换原来文件
<property> |
修改红色部分,格式为hdfs://机器名:端口.此为HDFS的端口,可自行配置,但不要和已有端口冲突
3)将D:\hadoop\run\src\hdfs-defult.xml复制为D:\hadoop\run\conf\hdfs-site.xml并替换原来文件,无修改
4)将D:\hadoop\run\src\mapred-defult.xml复制为D:\hadoop\run\conf\mapred-site.xml并替换原来文件
<property> |
修改红色部分,可自行配置,但不要和已有端口冲突
6.Cygwin下进入hadoop的bin目录,执行./hadoop namenode -format 初始化HDFS
start-all.sh启动hadoop
stop-all.sh关闭hadoop
7.执行jps及./hadoop fs -ls /
成功则说明hadoop启动成功
------------------------------------------hadoop配置完成-------------------继续割------------------------
8.现在开始将myeclipse与hadoop结合起来,以方便以后的开发调试
我用的myeclipse版本为6.6,记得myeclipse要运行在jre1.6环境下,不然hadoop插件会报错.
如果你的myeclipse不是在1.6下运行,则将1.6的JRE复制并替换D:\Program Files\MyEclipse 6.6\jre即可
9.我使用的hadoop是1.0.3,所以我用的插件是hadoop-eclipse-plugin-1.0.3.jar.
检查hadoop-eclipse-plugin-1.0.3.jar的lib中是否有如图的jar包,如果没有则到D:\hadoop\run\lib下将相应的jar包复制过来
并且修改MANIFEST.MF文件,Bundle-ClassPath:下增加相应的jar包,例如:
Bundle-ClassPath: classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-httpclient-3.0.1.jar,lib/jackson-core-asl-1.8.8.jar,lib/jackson-mapper-asl-1.8.8.jar,lib/commons-configuration-1.6.jar,lib/commons-lang-2.4.jar
检查无误后将此jar包复制到D:\Program Files\MyEclipse 6.6\eclipse\plugins下,重启myeclipse
10.进入首选项配置hadoop安装目录
进入window中打开Perspective并打开Map/Reduce
新增hadoop location
配置如图
此时可以访问HDFS则说明配置成功
--------------------------------------------over------------------------------------------------------------
Windows下Hadoop的环境安装[转]的更多相关文章
- Windows下Hadoop编程环境配置指南
刘勇 Email: lyssym@sina.com 本博客记录作者在工作与研究中所经历的点滴,一方面给自己的工作与生活留下印记,另一方面若是能对大家有所帮助,则幸甚至哉矣! 简介 鉴于最近在研究 ...
- windows下的python环境安装
windows下python开发环境的搭建还是很方便的 python本体的下载可以通过官方渠道,也可以通过windows应用商店,这里推荐后者,因为前者还要设置环境变量,而且我设置了之后cmd下也没有 ...
- Windows 下Hadoop的环境变量配置
一.安装JDK 1.下载路径:http://www.oracle.com/technetwork/java/javase/downloads/index.html 2.安装到C:\Java\jdk1. ...
- windows 下的bash 环境安装npm
1.Git下载 node.js下载2.安装 git 和 node.js3.将git\bin node.js安装目录加入环境变量path中4.在D盘下建立目录gitrep 打开Git Bash初始 ...
- Windows下Java开发环境安装与配置
1. 前往Oracle网站下载JDK程序并安装. http://www.oracle.com/technetwork/java/javase/downloads/index.html 目前最新的版本为 ...
- [转]phoneGap3.0安装步骤(以windows下的android环境为例):
phoneGap3.0安装步骤(以windows下的android环境为例): 环境: WIN系统,JDK,Android,Eclipse,Ant,Git,PhoneGap3.x (Cordova) ...
- windows下配置lamp环境(1)---安装Apache服务器2.2.25
window下lamp成为wamp; 安装wamp环境的第一步是安装Apache服务器.下面开始安装步骤图文并茂. 一.双击安装包点“next”进行下一步,然后同意协议(这张图没有截):
- windows下spark开发环境配置
http://www.cnblogs.com/davidwang456/p/5032766.html windows下spark开发环境配置 --本篇随笔由同事葛同学提供. windows下spark ...
- Android学习——windows下搭建Cygwin环境
在上一篇博文<Android学习——windows下搭建NDK_r9环境>中,我们详细的讲解了在windows下进行Android NDK开发环境的配置,我们也讲到了在NDk r7以后,我 ...
随机推荐
- 各版本IIS安装方法
各版本IIS安装方法 Windows 2000 V5.0 将操作系统安装光盘放入光驱,打开“控制面板”→“添加或删除程序”→“添加/删除 Windows 组件”,勾选“Internet信息服务(I ...
- MVC验证码的编写
主要是相互学习一下mvc,希望各位大神指导 /// <summary> /// 生成随机数字 /// </summary> /// <returns>随机数字< ...
- 常用shell笔记
一. vi 编辑文件 1. 删除字符:在只读模式下,X:大字的X,每按一次删除光标所在位置的前面一个字符:x:小写字母x 每按一次删除光标所在位置的后面一个字符 2. 进入编辑模式:i.a.o切换进 ...
- intellij idea 热部署失效,需要手动编译类
从网上看到的解决方案,做一下备忘: spring boot项目中遇到jrebel类需要手动编译才会触发热部署的问题(spring boot devtools一样的问题) 1.ctl + shift + ...
- CSS各种选择器
一.选择器 1.元素选择器 li{}最常用.最基本 2.派生选择器 li strong { } 标签间用空格分隔.定义了li标签中的strong标签的样式,css1中上下文选择器.css2中派生选择器 ...
- Android环境搭建-Eclipse-Luna
所需软件:eclipse-jee-luna-R-win32-x86_64 所需插件:Adt 23.02 其他:Android SDK 环境搭建-JDK安装.Eclipse安装 配置安卓环境变量: cm ...
- jquery keypress事件浏览器兼容性
今天在做“财务管理系统”的时候,使用jquery的ajax从前台传递用户输入到后台,并保存到数据库,但是在前台为了界面的简介和一致性,没有使用按 钮来实现"确定"和"取消 ...
- Css3 javascript 写的分类
不兼容IE10以下的浏览器 <!DOCTYPE html> <html> <head> <meta charset=utf-> <title> ...
- CSS中常用中文字体转Unicode编码表
中文名 英文名 Unicode Unicode 2 Mac OS 华文细黑 STHeiti Light [STXihei] \534E\6587\7EC6\9ED1 华文细黑 华文黑体 STHeiti ...
- GUI编程(一)-----概述
软件的交互方式 1.命令交互方式. 2.图像交互方式.Java提供了专业的API用于开发图形用户界面(GUI--> Graphic User Interface). GUI的分类 1.AW ...