hadoop2.7.2集群搭建

hadoop2.7.2集群搭建

1.修改hadoop中的配置文件

进入/usr/local/src/hadoop-2.7.2/etc/hadoop目录，修改hadoop-env.sh，core-site.xml，hdfs-site.xml，mapred-site.xml ，yarn-site.xml，slaves等文件

1.1 core-site.xml文件

<configuration>
  <!--指定hadoop运行时产生文件的存储目录-->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
  <!--配置HDFS中NameNode的地址-->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/src/hadoop-2.7.2/tmp</value>
  </property>
</configuration>

1.2 hadoop-env.sh文件

export JAVA_HOME=/usr/local/src/jdk1.7.0_79

1.3 hdfs-site.xml文件

<configuration>
    <!-- 设置hdfs副本数量 -->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <!-- 设置secondarynamenode的http通讯地址 -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>slave2:50090</value>
    </property>
    <!-- 设置namenode的http通讯地址 -->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>master:50070</value>
    </property>
    <!-- 设置namenode存放的路径 -->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/src/hadoop-2.7.2/name</value>
    </property>
    <!-- 设置datanode存放的路径 -->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/src/hadoop-2.7.2/data</value>
    </property>
</configuration>

1.4 mapred-site.xml文件

<configuration>
    <!-- 通知框架MR使用YARN -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

1.5 mapred-env.sh文件

export JAVA_HOME=/usr/local/src/jdk1.7.0_79

1.6 yarn-site.xml文件

<configuration>
    <!-- 设置 resourcemanager 在哪个节点-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>slave1</value>
    </property>
    <!-- reducer取数据的方式是mapreduce_shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

1.7 yarn-env.sh文件

export JAVA_HOME=/usr/local/src/jdk1.7.0_79

1.8 slaves文件

将集群中的服务器节点的hostname写入该文件中

• master
• slave1
• slave2