Windows 10 搭建Hadoop平台

一、环境配置

JDK：1.8.

Hadoop下载地址(我选择的是2.7.6版本)：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/

Hadoop运行在Windows上需要安装winutils支持和hadoop.dll文件。

winutils(我选择的是2.7.1版本)下载地址：https://github.com/steveloughran/winutils。

将文件解压到D盘根目录。

二、配置环境变量。

需要配置4个环境变量(JAVA相关自行百度)。

HADOOP_HOME：D:\hadoop-2.7.6

HADOOP_CONF_DIR：%HADOOP_HOME%\etc\hadoop

YARN_CONF_DIR：%HADOOP_CONF_DIR%

PATH添加%HADOOP_HOME%/bin

三、搭建winutils环境。

将下载的winutils(选择2.7.1版本中的文件放到) D:\hadoop-2.7.6\bin 文件夹中。

四、Hadoop环境配置。

首先，进入hadoop文件夹下的etc\hadoop文件夹，文件夹下修改文件：

• 修改core-site.xml为如下代码：

  <configuration>
  <property>
         <name>fs.defaultFS</name>
         <value>hdfs://localhost:9000</value>
     </property>
  </configuration>

• 修改mapred-site.xml为如下代码：

  <configuration>
     <property>
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
     </property>
  </configuration>

• 修改hdfs-site.xml如下：

  <configuration>
  <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
     <property>
         <name>dfs.namenode.name.dir</name>
         <value>/D:/hadoop-2.7.6/data/namenode</value>
     </property>
     <property>
         <name>dfs.datanode.data.dir</name>
       <value>/D:/hadoop-2.7.6/data/datanode</value>
     </property>
  </configuration>

• 修改yarn-site.xml为：

  <configuration>
     <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
     </property>
     <property>
         <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
         <value>org.apache.hadoop.mapred.ShuffleHandler</value>
     </property>
  </configuration>

• 修改hadoop-env.cmd，JAVA_HOME设置为 set JAVA_HOME=C:\Java\jdk1.8.0_144，并在尾部添加

  set HADOOP_IDENT_STRING=%USERNAME%
  set HADOOP_PREFIX=D:\hadoop-2.7.6
  set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop
  set YARN_CONF_DIR=%HADOOP_CONF_DIR%
  set PATH=%PATH%;%HADOOP_PREFIX%\bin

• 在D:\hadoop-2.7.6\etc\hadoop文件夹下创建slaves.txt文件，并在其中添加localhost

五、运行Hadoop

• 打开cmd，执行‘hdfs namenode -format’,执行没有报错，说明成功。
• 然后进入hadoop目录下sbin文件夹，双击start-all.cmd,得到如下图所示四张图： 

• 打开cmd，输入jps。可以看到如下提示。

• 

  搭建成功。

• 搭建过程中遇到问题。
• 1、NameNode文件夹不存在，我手动在路径中添加文件夹。()
• 2、启动后报错NameNode文件夹没有format。打开cmd，输入hadoop namenode -format。重新启动start-all.cmd文件。
• 3、经过上部，发现ResourceManager又出问题。启动stop-all.sh，然后start-all.sh，然后start-all.cmd。
• 上诉3步过后，系统搭建OK。