hadoop-3.0.0-beta1分布式安装

楼主是从Hadoop2.x版本过来的，在工作之余自己搭建了一套3.0的版本来耍一耍，此文章的前置环境准备工作省略。主要介绍一些和Hadoop2.x版本不同的安装之处

Hadoop版本：hadoop-3.0.0-beta1

JDK版本：jdk1.8.0_121

虚拟机版本：Centos6.5

一、前置环境准备

1.1 jdk安装

1.2 免密钥登录

二、 hadoop3.0需要配置的文件有core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、hadoop-env.sh、workers

1.core-site.xml配置文件

<configuration>
  <property>
    <name>fs.defaultFS</name>
     <value>hdfs://hadoop3:9000</value>
  </property>  

  <property>
      <name>hadoop.tmp.dir</name>
      <value>file:///hadoopv3/tmp</value>  //此目录不配置的话，默认是在/temp目录下。Linux系统重启的话此目录会被清空
  </property>
</configuration> 

2.hdfs-site.xml配置文件

<configuration>
 <property>
   <name>dfs.replication</name>
   <value></value>
 </property>
 <property>
   <name>dfs.namenode.name.dir</name>
   <value>file:///hadoopv3/hdfs/name</value>
 </property>
 <property>
   <name>dfs.datanode.data.dir</name>
   <value>file:///hadoopv3/hdfs/data</value>
 </property>
 <property>
   <name>dfs.namenode.secondary.http-address</name>
   <value>hadoop2:</value>
 </property>
</configuration>  

3.workers中设置slave节点，将slave机器的名称写入

hadoop1
hadoop2
hadoop3

4.mapred-site配置

<configuration>
   <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>  

<property>
 <name>mapreduce.application.classpath</name>
 <value>
  /home/software/hadoop-3.0.-beta1/etc/hadoop,
  /home/software/hadoop-3.0.-beta1/share/hadoop/common/*,
  /home/software/hadoop-3.0.0-beta1/share/hadoop/common/lib/*,
  /home/software/hadoop-3.0.0-beta1/share/hadoop/hdfs/*,
  /home/software/hadoop-3.0.0-beta1/share/hadoop/hdfs/lib/*,
  /home/software/hadoop-3.0.0-beta1/share/hadoop/mapreduce/*,
  /home/software/hadoop-3.0.0-beta1/share/hadoop/mapreduce/lib/*,
  /home/software/hadoop-3.0.0-beta1/share/hadoop/yarn/*,
  /home/software/hadoop-3.0.0-beta1/share/hadoop/yarn/lib/*
 </value>
</property>
</configuration>

上面的mapreduce.application.classpath开始没有配置，导致使用mapreduce时报错

Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster

5.yarn-site.xml配置

<configuration>

<!-- Site specific YARN configuration properties -->
 <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
     <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop3</value>
    </property>
</configuration>

6.hadoop-env.sh中配置java_home

export JAVA_HOME=/usr/local/java/jdk1..0_121  

以上配置完成后，将hadoop整个文件夹复制到其他二台机器。

四、启动hadoop

1.格式化namenode

hdfs namenode -format   

注意：格式化的时候只需要在namenode节点执行一次即可

若没有设置路径$HADOOP_HOME/bin为环境变量，则需在$HADOOP_HOME路径下执行

格式化之后三台机器上的目录的结构分别是：

hadoop1:

hadoop2:

hadoop3:

2.启动hdfs及yarn

start-dfs.sh
start-yarn.sh  

若没有设置路径$HADOOP_HOME/sbin为环境变量，则需在$HADOOP_HOME路径下执行

现在便可以打开页面http://hadoop3:8088及http://hadoop3:9870；看到下面两个页面时说明安装成功。

注意：启动的时候会遇到一些问题

问题1：Starting namenodes on [hadoop3] 
ERROR: Attempting to launch hdfs namenode as root 
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting launch.

解决1： 
是因为缺少用户定义造成的，所以分别编辑开始和关闭脚本 
$ vi sbin/start-dfs.sh 
$ vi sbin/stop-dfs.sh 
在顶部空白处添加内容： 
HDFS_DATANODE_USER=root 
HADOOP_SECURE_DN_USER=hdfs 
HDFS_NAMENODE_USER=root 
HDFS_SECONDARYNAMENODE_USER=root

问题2：

Starting resourcemanager 
ERROR: Attempting to launch yarn resourcemanager as root 
ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting launch. 
Starting nodemanagers 
ERROR: Attempting to launch yarn nodemanager as root 
ERROR: but there is no YARN_NODEMANAGER_USER defined. Aborting launch.

解决2： 
是因为缺少用户定义造成的，所以分别编辑开始和关闭脚本 
$ vi sbin/start-yarn.sh 
$ vi sbin/stop-yarn.sh