centOS 7-Hadoop3.3.0完全分布式部署

本文内容不乏对各大佬的案例借鉴，侵删。

本次实验用到的有虚拟机，Xshell，Hadoop压缩包和jdk压缩包

	hadoop111A:192.168.241.111	hadoop222B:192.168.241.112	hadoop333C:192.168.241.113
HDFS	NameNode DataNode	DataNode	secondaryNameNode DataNode
YARN	NodeManager	ResourceManager NodeManager	NodeManager

我这边用的三台虚拟机和对应的IP是：

hadoop111A　　192.168.241.111

hadoop222B　　192.168.241.112

hadoop333C　　192.168.241.113

先在虚拟机里面安装好一个centOS 7，然后把静态IP配置好

先进入 /etc/sysconfig/network-scripts 里面有个名为 ifcfg-ens33 的文件，修改这个文件。

cd /etc/sysconfig/network-scripts

vim ifcfg-ens33

修改这些配置的时候 会由于权限不够，会报错已保存但未修改，我是直接转换成root用户进行修改的，这样一来比较方便。输入命令：su　　转换成root用户

把里面没用的内容删掉，保留有用的，我修改的内容是这样的；复制粘贴的时候记得按 i 转为插入模式

DEVICE=ens33
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.241.111
PREFIX=24
GATEWAY=192.168.241.2
DNS1=192.168.241.2
DNS2=8.8.8.8

然后重启网络管理

service NetworkManager restart

现在就可以看看你的IP发生的变化，然后ping一下百度，看看是否能建立数据传输。

现在可以通过xshell链接linux了，接着就是修改主机名

vim /etc/hostname

hadoop111A 就是我这台虚拟机的主机名

这里我们可以先把映射写好，预先写入你另外两台虚拟机的主机名和IP

vim /etc/hosts

然后就是安装Hadoop和jdk，这两个软件包可以去相应的官网下载，值得注意的是，jdk我们要下载1.8版本的，我先前安装的16.0版本的，出现了问题，可能是不兼容吧，我看很多大佬安装的都是1.8版本的，所以我下载了1.8版本安装之后，就没有出现问题了。

我们在Windows上下载好这些软件包之后，可以通过xshell这一些工具传进来，我图方便，就直接拖进虚拟机，然后找到软件包在linux里的位置，进行移动和解压。

安装jdk，因为sentos7自带有jdk，所以我们要将其删除，先查看系统中的jdk

rpm -qa | grep java

这里我们可以看到有1.8和1.7的jdk，我们只需要删除jdk

rpm -e --nodeps jdk名字

软件包的名字可以在上面复制粘贴，运行 rpm -qa | grep java 查看是否删除完毕

现在就是解压jdk了，路径可以自己选，我这边是安装在 /usr/java 里面  用命令解压文件

tar -zxvf jdk软件包名

给jdk添加环境变量，添加在最后面

vim /etc/profile

##JAVA_HOME
JAVA_HOME=/usr/java/jdk1.8.0_291
JRE_HOME=$JAVA_HOME/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib.dt.jar:$JAVA_HOME/lib/tools.jar:$JER_HOME/lib
export JAVA_HOME JRE_HOME PATH CLASSPATH

应用profile配置

source /etc/profile

查看jkd

java -version

显示有版本号就说明安装成功了

按Hadoop和定义配置文件

和安装jdk一样，先把Hadoop压缩包解压

添加环境变量

vim /etc/profile

##HADOOP_HOME
export HADOOP_HOME=/opt/soft/hadoop/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

进入hadoop的etc里面修改相应的配置文件

配置 core-site.xml

<!--指定namenode的地址-->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop111A:8020</value>
</property>
<!-- 指定 Hadoop 运行时产生文件的存储目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/soft/hadoop/hadoop-3.3.0/data</value>
</property>

配置 hadoop-env.sh 如果这个不添加，那么hadoop运行的时候就会报错说找不到jdk的位置

export JAVA_HOME=/usr/java/jdk1.8.0_291

配置 hdfs-site.xml

<!--nn web端访问地址-->
<property>
    <name>dfs.namenode.http-address</name>
    <value>hadoop111A:9870</value>
</property>
<!-- 2nn web端访问地址 -->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop333C:9868</value>
</property>

配置 yarn-site.xml

<!-- 指定 MR 走shuffle -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<!-- 指定 YARN 的 ResourceManager 的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop222B</value>
</property>

配置 mapred-site.xml

<!-- 指定 MR 运行在 Yarn 上 -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

配置 workers

hadoop111A
hadoop222B
hadoop333C

配置完毕后关机，在虚拟机里面完全克隆两台虚拟机，并将其IP和主机名修改好

完事后，进行免密登陆设置，运行指令创建免密登陆密钥

ssh-keygen -t rsa

一路回车下去后，私钥和公钥就在 /root/.ssh 里面建立了

进入这个文件夹就可以看到了

cd /root/.ssh

创建一个名为 authorized_keys 的文件

touch authorized_keys

然后将公钥写进这个文件，三台主机都要进行这样的操作

cat id_rsa.pub >> authorized_keys

期间如果写入不了，那多半是权限不够，这时候我们可以修改下他们的权限

chmod 600 authorized_keys

chmod 700 /root/.ssh

然后用vim打开 authorized_keys 就可以看到密钥了，我就不传来传去了，直接简单粗暴，直接复制粘贴了

然后用ssh链接试试，我这边链接hadoop222B

这样就是链接上了，如个报错说找不到，那就是前面映射没设置好，如果报错无法链接，那就修改下面的配置

修改 /etc/ssh/ssh_config 文件的内容

StrictHostKeyChecking ask打开注释修改为StrictHostKeyChecking no即可

vim /etc/ssh/ssh_config

现在就可以格式化hadoop了

期间没有任何报错，那就是成功了，如果报错意外终止，那就是配置文件里面的标签没打好

在 hadoop/sbin 里面可以看到这些文件

这里我们先启动start-dfs.sh

jps查看一下

hadoop111A启动的是 NameNode 和 DataNode

hadoop222B启动的是 DataNode

hadoop333C启动的是 DataNode 和 SecondaryNameNode

这时候我们就可以打开浏览器访问hadoop111A：9870

然后在hadoop222B中启动

jps查看

对照上面表格的启动项，是一样的就对了，必须要和部署的一摸一样

然后在浏览器里面输入hadoop222B：8088

这样就算是部署好了

如果期间 ResourceManager 启动不了

启动start-dfs.sh报错Attempting to operate on hdfs namenode as root
在/hadoop/sbin路径下：
将start-dfs.sh，stop-dfs.sh两个文件顶部添加以下参数

#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

还有，start-yarn.sh，stop-yarn.sh顶部也需添加以下：

#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root