Hadoop-3.1.2安装步骤

Hadoop-3.1.2 安装步骤

第一步  准备 服务器配置

1.  在VMware中安装把Centos7安装成功后，需要把界面设置为命令行启动，因为默认的启动方式是图形界面启动

systemctl set-default multi-user.target

2.  修改IP 地址，网络连接的配置

cd /etc/sysconfig/network-scripts/            进入目录

ls                                                              查看目录下的所有文件

vi  ifcfg-ens33                                          修改此文件

修改内容如下

3 重启网络配置，使网络配置生效

service network restart       重启网络设置

4. 停止防火墙

systemctl disable firewalld.service

5.修改hosts文件

vi /etc/hosts

6. 设置hostname

hostnamectl set-hostanme master

7  安装jdk

通过xftp把jdk安装包复制到虚拟机的/root/apps下，并安装当前目录中

tar -zxvf ./jdk-8u231-linux-x64.tar.gz -C ./

8 安装hadoop

通过xftp把hadoop安装包复制到虚拟机的/root/apps下，并安装在当前目录中

tar -zxvf ./hadoop-3.1.2.tar.gz -C ./

第二步  SSH免密登录配置

9 把java和hadoop配置为环境变量

vi /etc/profile

10 重启配置使配置生效

source /etc/profile

通过命令查看jdk或者hadoop是否安装成功

11. 设置hadoop中java环境

vi /root/apps/hadoop-3.1.2/etc/hadoop/hadoop-env.sh

12  配置文件的修改配置

(1)core-site.xml

<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/bigdata/hddata</value>
</property>

(2) hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>slaver01:9001</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

(3) mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

(4) yarn-site.xml

<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>
</property>

13  配置worker

 vi /root/apps/hadoop-3.1.2/etc/hadoop/workers

14   修改   vi /root/apps/hadoop-3.1.2/etc/hadoop/yarn-env.sh 

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

15  在 sbin，修改start-dfs.sh,stop-dfs.sh,都添加：

vi  /root/apps/hadoop-3.1.2/sbin/start-dfs.sh

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root