时隔许久的博客。。

系统为Windows 10,Hadoop版本2.8.3。

虽然之前已经在Linux虚拟机上成功运行了Hadoop,但我还是在Windows上编码更加习惯,所以尝试了在Window上安装。

这里主要是归纳出安装过程的简要步骤和可能碰到的问题。

有两点要先注意的:

Java和Hadoop的路径最好不要带空格,如果安装在如Program Files这样带空格的文件夹下,使用路径时可用类似PROGRA~1来代替。

Localhost url不要与已有的冲突,如DLNA。


winutils

除了Hadoop和JDK外,还要下载的一套第三方类库winutils, 下载地址:

https://github.com/steveloughran/winutils

注意:Hadoop与winutils的版本要相对应。

照着列表找到想用的Hadoop,clone一个到本地,把里面所有的文件都覆盖到Hadoop目录的bin子目录下去。


环境变量

我基本是能添的都添了。。

以及path中

其实不一定要都加,实测可以只在path中加入Hadoop的bin,Java可以在hadcoop-env.cmd另行设置。


配置文件


hadcoop-env.cmd

位于Hadoop的etc/hadoop下,设置JAVA_HOME。

set JAVA_HOME=JDK路径

core-site.xml

位于Hadoop的etc/hadoop下,通用配置。

其中tmp.dir和localhost url需自己设置。

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/D:/hadoop-2.8.3/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:8000</value>
</property>
</configuration>

hdfs-site.xml

位于Hadoop的etc/hadoop下,HDFS有关配置。

其中name.dir和data.dir需自己预先建立。

<configuration>
<!-- 参数设置为1,单机的hadoop -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/D:/hadoop-2.8.3/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/D:/hadoop-2.8.3/data</value>
</property>
</configuration>

mapred-site.xml

位于Hadoop的etc/hadoop下,MapReduce有关配置。

mapred-site.xml.template去掉template后缀名。

其中localhost url需自行设置。

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:8001</value>
</property>
</configuration>

yarn-site.xml

位于Hadoop的etc/hadoop下,yarn有关配置。

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

Let's Hadoop

自行小黑窗或小蓝窗。

cd D:/hadoop-2.8.3/bin
hadoop namenode -format #一定先要格式化hdfs!!!!! cd D:/hadoop-2.8.3/sbin start-dfs.cmd #先启动dfs
start-yarn.cmd #再启动yarn start-all.cmd #等于上面两条命令的组合 stop-dfs.cmd
stop-yarn.cmd stop-all.cmd

效果图

Windows下的Hadoop安装(本地模式)的更多相关文章

  1. Windows下运行Hadoop

    Windows下运行Hadoop,通常有两种方式:一种是用VM方式安装一个Linux操作系统,这样基本可以实现全Linux环境的Hadoop运行:另一种是通过Cygwin模拟Linux环境.后者的好处 ...

  2. Mysql在windows下的免安装配置步骤和重新安装的步骤

    windows下mysql免安装配置 1. 下载mysql免安装压缩包 下载mysql-5.6.22-winx64.zip 解压到本地D:\mysql-5.6.22-winx64 2. 修改配置文件 ...

  3. 本地windows下搭建git的本地服务器

    本地windows下搭建git的本地服务器 准备工作: 本地安装java环境,配置环境变量(略) 下载gitblit文件,百度一大堆 开始第一步: 减压gitblit压缩包到某个目录下,比如我在:H: ...

  4. windows下Anaconda的安装与配置正解

    一.下载anaconda 第一步当然是下载anaconda了,官方网站的下载需要用迅雷才能快点,或者直接到清华大学镜像站下载. 清华大学提供了镜像,从这个镜像下载速度很快,地址: https://mi ...

  5. windows下nodejs express安装及入门网站,视频资料,开源项目介绍

    windows下nodejs express安装及入门网站,视频资料,开源项目介绍,pm2,supervisor,npm,Pomelo,Grunt安装使用注意事项等总结 第一步:下载安装文件下载地址: ...

  6. Windows下的Memcache安装与Java部署

    Windows下的Memcache安装: 1. 下载memcached的windows稳定版,解压放某个盘下面,比如在c:\memcached 2. 在终端(也即cmd命令界面)下输入 ‘c:\mem ...

  7. windows下curl的安装和简单使用

    curl是利用URL语法在命令行方式下工作的开源文件传输工具.它支持很多协议:FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE 以及 LDAP. 一 ...

  8. windows下的tfjs-node安装异常总结

    大约有半年没有写博客了,奔波于上海这座魔都之中.险些忘了自己是个有梦想的全栈工程师 书接上回,由于个人非常厌恶python的语法,半年前发现了tensorflow.js这个宝贝(下简称tfjs),喜出 ...

  9. Windows下的Memcache安装 linux下的Memcache安装

    linux下的Memcache安装: 1. 下载 memcache的linux版本,注意 memcached 用 libevent 来作事件驱动,所以要先安装有 libevent. 官方网址:http ...

随机推荐

  1. usrp-B210

    sudo add-apt-repository ppa:ettusresearch/uhd sudo apt-get update sudo apt-get install libuhd-dev li ...

  2. WEB漏洞 XSS(一)

    1.xss的形成原理 xss 中文名是“跨站脚本攻击”,英文名“Cross Site Scripting”.xss也是一种注入攻击,当web应用对用户输入过滤不严格,攻击者写入恶意的脚本代码(HTML ...

  3. hdu4966 最小树形图+虚根

    /* 辛辛苦苦调试半天, 过了样例,竟然没有ac!! 网上对比了ac代码,感觉添加一个虚根就能ac 但是想不明白为什么 */ /* 第二天想了下,知道了为什么wa:因为从等级0连到其他课程等级i的不止 ...

  4. Plain Old Data (POD) (转)

    定义 POD类型包括下述C++类型,以及其cv-qualified的类型,还有以其为基类型的数组类型: 标量类型(scalar type) POD类类型(POD class type) 标量类型 术语 ...

  5. IDEA项目的复制操作

     另一种复制项目的方法 完成

  6. 用groovy脚本进行每日工作的自动化【groovy】

    我们可以用groovy编写日常的批处理脚本,类似windows下的bat或者unix下的shell.其具体的编写方式非常简单,比如我们想要执行一个dir的命令,只要编写一个test.groovy,其中 ...

  7. python全栈开发day54-mysql库操作、表操作、数据类型、完整性约束

    一.昨日内容回顾 1.mysql的安装 1).解压文件 添加环境变量bin 2).初始化mysql生成数据data文件夹: mysqld --initialize-insecure 3).mysqld ...

  8. redcontrol for SL 中文化及样式选择

    app.xaml.cs public partial class App: Application    {        public App()        {            //指定t ...

  9. Python_迭代器

    迭代器:迭代器里的元素读一个丢一个,不能回退,不能用下标访问 x.__next__():迭代器里唯一的方法,只读下一个 d = iter(['Presly', 'is', 'lovely', ]) p ...

  10. net core体系-web应用程序-3项目结构、配置文件详解

    一.应用程序文件结构 如下图所示,相比于Asp.Net项目,在新建的Asp.Net Core项目中,没有了Global.asax以及Web.config这样的文件,但多了几个其他主要的文件,它们分别为 ...