【Hadoop】3.3.1版本部署

硬件环境：

虚拟机环境配置

硬件：1CPU + [RAM]4G + [DISK]128G

系统：Centos7 x64

这里没有像尚硅谷一样做地址映射解析，直接取IP（我太懒）

192.168.242.131

192.168.242.132

192.168.242.133

前置依赖环境：

前置环境准备（3台机器都需要）：

sudo yum install -y net-tools

sudo yum install -y vim

sudo yum install -y wget

sudo yum install -y lrzsz

sudo yum install -y pcre pcre-devel

sudo yum install -y zlib zlib-devel

sudo yum install -y openssl openssl-devel

sudo yum install -y unzip

sudo yum install -y libtool

sudo yum install -y gcc-c++

sudo yum install -y telnet

sudo yum install -y tree

sudo yum install -y nano

sudo yum install -y psmisc

sudo yum install -y rsync

sudo yum install -y java-1.8.0-openjdk-devel.x86_64

1号机（192.168.242.131）的安装过程

下载Hadoop包（1号机，可以任意一台）：

如果是其他版本，注意文件路径和脚本编写的时候，要及时替换过来

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz

(可选)用scp命令传输到其他机器上备份：

# 例如1号机下载的，就需要传输到2号机和3号机

scp ~/hadoop-3.3.1.tar.gz root@192.168.242.132:/root/

scp ~/hadoop-3.3.1.tar.gz root@192.168.242.133:/root/

解包到指定【 opt/module/ 】目录（1号机）

mkdir -p /opt/module/

tar -zxvf hadoop-3.3.1.tar.gz -C /opt/module/

配置Hadoop + Jdk的环境变量（1号机）

vim /etc/profile.d/my_env.sh

=====添加下面内容=====

# HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-3.3.1

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

# JDK变量 JAVA_HOME

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.el7_9.x86_64

export PATH=$PATH:$JAVA_HOME/bin

将环境变量加入进来，立即生效（1号机）

source /etc/profile

检查（1号机）是否安装成功？

hadoop version

3.3.1版本，我这里展示的信息

[root@localhost ~]# hadoop version

Hadoop 3.3.1

Source code repository https://github.com/apache/hadoop.git -r a3b9c37a397ad4188041dd80621bdeefc46885f2

Compiled by ubuntu on 2021-06-15T05:13Z

Compiled with protoc 3.7.1

From source with checksum 88a4ddb2299aca054416d6b7f81ca55

This command was run using /opt/module/hadoop-3.3.1/share/hadoop/common/hadoop-common-3.3.1.jar

集群部署的前置准备

一、编写集群分发脚本

在【 /usr/bin/ 】目录下面创建xsync命令脚本（1号机）

vim /usr/bin/xsync

脚本代码：

#!/bin/bash

#1. 判断参数个数

if [ $# -lt 1 ]

then

 echo Not Enough Arguement!

 exit;

fi

#2. 遍历集群所有机器

for host in 192.168.242.131 192.168.242.132 192.168.242.133

do

 echo ==================== $host ====================

 #3. 遍历所有目录，挨个发送

 for file in $@

 do

 #4. 判断文件是否存在

 if [ -e $file ]

 then

 #5. 获取父目录

 pdir=$(cd -P $(dirname $file); pwd)

 #6. 获取当前文件的名称

 fname=$(basename $file)

 ssh $host "mkdir -p $pdir"

 rsync -av $pdir/$fname $host:$pdir

 else

 echo $file does not exists!

 fi

 done

done

注意保存后需要给予【可执行】的权限

chmod +x /usr/bin/xsync

这里补充下信息

在视频演示和文档中放置的位置是在用户的bin目录下（ /root/bin 非root用户是 /home/用户名/bin）

且不存在该目录，需要自行创建

原因是全局PATH变量有指向这个路径（猜测）

[root@localhost ~]# echo $PATH

/usr/local/sbin:/usr/local/bin:
/usr/sbin:
/usr/bin:
/opt/module/hadoop-3.3.1/bin:
/opt/module/hadoop-3.3.1/sbin:
/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.el7_9.x86_64/bin:
/root/bin

测试xsync命令是否可用？

把1号机配置的环境变量文件同步到其他机器上

xsync my_env.sh

# sudo 执行时要求文件路径必须是完整的

sudo xsync /etc/profile.d/my_env.sh

此时每一次机器scp的传输都会要求输入登陆账号和密码，

传输完成后检查目标机器上路径是否存在这个文件

二、免登录处理—生成SSH密钥

切换到当前用户（root）目录下的.ssh隐藏目录（每一台机器都执行）

cd ~/.ssh

执行密钥生成命令

三个设置项都直接按回车确认（每一台机器都执行）

ssh-keygen -t rsa

过程展示：

[root@localhost .ssh]# ssh-keygen -t rsa

Generating public/private rsa key pair.

Enter file in which to save the key (/root/.ssh/id_rsa):

Enter passphrase (empty for no passphrase):

Enter same passphrase again: 

Your identification has been saved in /root/.ssh/id_rsa.

Your public key has been saved in /root/.ssh/id_rsa.pub.

The key fingerprint is:

SHA256:3rFBbU4jq2Y6HepDVxJDZEwuldF1NpFzWTWn9Sgc/dQ root@localhost.localdomain

The key's randomart image is:

+---[RSA 2048]----+

|       =B+ .o.=+X|

|       += .o ++*E|

|      . .oo B o=.|

|       ....* o  .|

|        So+ .    |

|      ..oo +     |

|     . +=.o      |

|      ++.        |

|     .oo         |

+----[SHA256]-----+

生成之后的.ssh目录

[root@localhost .ssh]# ll -a

总用量 12

drwx------. 2 root root   57 1月  28 15:03 .

dr-xr-x---. 4 root root  201 1月  28 14:33 ..

-rw-------. 1 root root 1675 1月  28 15:03 id_rsa

-rw-r--r--. 1 root root  408 1月  28 15:03 id_rsa.pub

-rw-r--r--. 1 root root  531 1月  28 14:39 known_hosts

可以看到两个文件【id_rsa】和【id_rsa.pub】

不带pub的是私钥，用于其他机器访问本机校验

pub后缀的就是公钥，用于登陆其他机器校验用的

known_hosts 文件是之前操作scp命令访问过其他机器的ip遗留的公钥信息

举个例子：

A、B 2台机器

A 想不输入密码就登陆B，B就需要知道A的账号信息，就需要把A的公钥放到B的机器中去

反之B登陆A就需要B的公钥在A里面存在

每台机器都需要其他机器的公钥，包括自己的

1号机的公钥给2号机和3号机，自己的加入到授权key中

ssh-copy-id 192.168.242.132

ssh-copy-id 192.168.242.133

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

2号机给1和3，自己加入

ssh-copy-id 192.168.242.131

ssh-copy-id 192.168.242.133

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

3号机同理

ssh-copy-id 192.168.242.131

ssh-copy-id 192.168.242.132

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

参考：

https://blog.csdn.net/sinat_35821976/article/details/99939757

集群部署

一、资源规划

建议： NameNode \ ResourceManager \ SecondaryNameNode 三者独立机器部署

原因：硬件资源占用大

资源分配：

　1号机放 NameNode，2号机放 ResourceManager ，3号机放 SecondaryNameNode

二、配置文件编写（1号机）

首先备份需要更改的文件

cp -r $HADOOP_HOME/etc/hadoop/core-site.xml $HADOOP_HOME/etc/hadoop/core-site.xml.bak

cp -r $HADOOP_HOME/etc/hadoop/hdfs-site.xml $HADOOP_HOME/etc/hadoop/hdfs-site.xml.bak

cp -r $HADOOP_HOME/etc/hadoop/yarn-site.xml $HADOOP_HOME/etc/hadoop/yarn-site.xml.bak

cp -r $HADOOP_HOME/etc/hadoop/mapred-site.xml $HADOOP_HOME/etc/hadoop/mapred-site.xml.bak

下面放开手脚改配置文件

1、core-site.xml

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

 <!-- 指定 NameNode 的地址 因为是集群地址，集群都指向这个地址节点 -->

 <property>

 <name>fs.defaultFS</name>

 <value>hdfs://192.168.242.131:8020</value>

 </property>

 <!-- 指定 hadoop 数据的存储目录 -->

 <property>

 <name>hadoop.tmp.dir</name>

 <value>/opt/module/hadoop-3.3.1/data</value>

 </property>

 <!-- 配置 HDFS 网页登录使用的静态用户为 atguigu -->

 <property>

 <name>hadoop.http.staticuser.user</name>

 <value>root</value>

 </property>

</configuration>

2、hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<!-- nn web 端访问地址-->

<property>

 <name>dfs.namenode.http-address</name>

 <value>192.168.242.131:9870</value>

 </property>

<!-- 2nn web 端访问地址-->

 <property>

 <name>dfs.namenode.secondary.http-address</name>

 <value>192.168.242.133:9868</value>

 </property>

</configuration>

3、mapred-site.xml

下面的环境变量似乎不需要添加...

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<!-- 指定 MapReduce 程序运行在 Yarn 上 -->

 <property>

 <name>mapreduce.framework.name</name>

 <value>yarn</value>

 </property>

 <property>

  <name>yarn.app.mapreduce.am.env</name>

  <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.3.1</value>

 </property>

 <property>

  <name>mapreduce.map.env</name>

  <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.3.1</value>

 </property>

 <property>

  <name>mapreduce.reduce.env</name>

  <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.3.1</value>

 </property>

</configuration>

4、yarn-site.xml

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

 <!-- 指定 MR 走 shuffle -->

 <property>

 <name>yarn.nodemanager.aux-services</name>

 <value>mapreduce_shuffle</value>

 </property>

 <!-- 指定 ResourceManager 的地址-->

 <property>

 <name>yarn.resourcemanager.hostname</name>

 <value>192.168.242.132</value>

 </property>

 <!-- 环境变量的继承 -->

 <property>

  <name>yarn.nodemanager.env-whitelist</name>

  <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>

 </property>

</configuration>

声明workers文件

注意workers文件不能有多余的空格和空行！

vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

===== 文件信息 =====

192.168.242.131

192.168.242.132

192.168.242.133

然后同步到其他机器上面

xsync /opt/module/hadoop-3.3.1/etc/hadoop

Hadoop集群启动

因为没有像尚硅谷教程那样专门设置hadoop程序的专属执行用户

这里要对启动脚本增加执行参数

未设置则会出现这个错误，解决方案也是从这获取的

https://blog.csdn.net/hongxiao2016/article/details/88903289/

1号机打开脚本，在最头上加上这些信息（ #!/usr/bin/env bash 的下面）

【/opt/module/hadoop-3.3.1/sbin/start-dfs.sh 】

【/opt/module/hadoop-3.3.1/sbin/stop-dfs.sh】

HDFS_DATANODE_USER=root

HADOOP_SECURE_DN_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

【/opt/module/hadoop-3.3.1/sbin/start-yarn.sh 】

【/opt/module/hadoop-3.3.1/sbin/stop-yarn.sh】

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

同步到其他机器上面：

xsync /opt/module/hadoop-3.3.1/sbin

然后由1号机启动hdfs，2号机启动yarn

1号机首次启动之前进行格式化处理：

hdfs namenode -format

如果后面需要重新格式化启动的，需要先删除 data目录 + logs目录（1号机）【待验证】？

启动HDFS

$HADOOP_HOME/sbin/start-dfs.sh

启动之后成功的信息：

[root@localhost ~]# /opt/module/hadoop-3.3.1/sbin/start-dfs.sh

WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of HADOOP_SECURE_DN_USER.

Starting namenodes on [192.168.242.131]

上一次登录：五 1月 28 18:30:20 CST 2022pts/1 上

Starting datanodes

上一次登录：五 1月 28 18:30:43 CST 2022pts/1 上

Starting secondary namenodes [192.168.242.133]

上一次登录：五 1月 28 18:30:45 CST 2022pts/1 上

[root@localhost ~]#

2号机启动YARN

$HADOOP_HOME/sbin/start-yarn.sh

启动后成功的信息：

[root@localhost ~]# /opt/module/hadoop-3.3.1/sbin/start-yarn.sh

Starting resourcemanager

上一次登录：五 1月 28 18:30:38 CST 2022pts/0 上

Starting nodemanagers

上一次登录：五 1月 28 18:31:09 CST 2022pts/0 上

[root@localhost ~]#

访问之前关闭防火墙（所有机器执行）

systemctl stop firewalld

访问页面进行查看：

http://192.168.242.131:9870/explorer.html#/

http://192.168.242.132:8088/cluster

配置历史记录服务器

编辑mapred-site.xml

vim mapred-site.xml

追加配置信息

<!-- 历史服务器端地址 -->

<property>

 <name>mapreduce.jobhistory.address</name>

 <value>hadoop102:10020</value>

</property>

<!-- 历史服务器 web 端地址 -->

<property>

 <name>mapreduce.jobhistory.webapp.address</name>

 <value>hadoop102:19888</value>

</property>

分发到其他机器上

xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

在1号机上启动历史记录服务

mapred --daemon start historyserver

检查是否启动：

[root@localhost hadoop]# mapred --daemon start historyserver

[root@localhost hadoop]# jps

6657 Jps

5170 DataNode

4999 NameNode

6631 JobHistoryServer

3288 NodeManager

历史记录服务地址

http://192.168.242.131:19888/jobhistory

日志记录汇聚配置：

更改yarn-site.xml

vim yarn-site.xml

文件内容追加

 <!-- 开启日志聚集功能 -->

<property>

 <name>yarn.log-aggregation-enable</name>

 <value>true</value>

</property>

<!-- 设置日志聚集服务器地址 -->

<property>

 <name>yarn.log.server.url</name>

 <value>http://192.168.242.131:19888/jobhistory/logs</value>

</property>

<!-- 设置日志保留时间为 7 天 -->

<property>

 <name>yarn.log-aggregation.retain-seconds</name>

 <value>604800</value>

</property>

同步分发：

xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

2号机关闭yarn

$HADOOP_HOME/sbin/stop-yarn.sh

1号机关闭历史记录服务

mapred --daemon stop historyserver

然后再1号机和2号机重新打开

# 2号机

$HADOOP_HOME/sbin/stop-yarn.sh

# 1号机

mapred --daemon start historyserver

编写测试文件进行传输

echo test-hadoop-log > /root/sample.txt

hadoop fs -put /root/sample.txt /

查看记录：

http://192.168.242.131:19888/jobhistory