基于服务器版centos7的Hadoop/spark搭建

前提说明：

1.Hadoop与spark是两个独立的框架，只安装spark也可独立运行，spark有自己的调度器（standalone模式）；

2.在Hadoop的基础上安装spark就是为了使用yarn调度器与Hadoop的hdfs存储；

3.如果你只想安装spark，可不用看Hadoop的安装，并不影响spark的安装与使用。

4.并不需要单独安装scala,因为spark之中已经集成了Scala（如果想要对应的版本也可以自己安装）

我的安装环境：

centos7服务器版、jdk8、hadoop2.7.4、spark2.4.0(请自行下载到所有节点Linux虚拟机中)（我没有使用克隆虚拟机的方式）

虚拟机数量：3（master、slave、slave）

实体机：win10

一.前期环境的配置

1.IP配置

1.1虚拟机网络设置

　　三台虚拟机均要设置成桥接模式，不然无法使用外部浏览器访问虚拟机，虽然能ping通并且ssh能够连接上

1.2静态IP配置

　　注：1.实体机在连接网线与wlan模式下IP不同，请在一种网络连接下配置（我的是在连接网线状态下）

　　　　2.如果不配置静态IP，在桥接模式下IP会自动获取，在后期无法使用

　　（1）首先在实体机中的cmd中查看并己住本机ip、网关、子掩网码：

　　（2）使用命令：ipconfig

　　（3）根据以上信息填写如下文件：

　　　　sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33(有的是ifcfg-eno16777736文件)

　　　　改成如下：

2.1接下来按照如下链接进行

https://www.linuxidc.com/Linux/2018-06/152795.htm

注：在链接中的2.3中：

scp -r /usr/local/hadoop-2.6.5 root@hadoop2:/usr/local/

scp -r /usr/local/hadoop-2.6.5 root@hadoop3:/usr/local/

链接作者是使用root用户进行安装配置的，没有问题，但是就像我使用非root进行root进行安装的，所以后期启动hadoop\spark会报权限错误，可使用如下方法进行更改目录所属用户权限：

chown -R user /usr/local/hadoop-2.7.4

同样，配置spark时也是一样

按照链接进行配置，亲测可行，虽然系统有所差异，但是不大，皆可百度、谷歌解决。

感谢链接作者，非常详尽！