IntelliJ IDEA编写的spark程序在远程spark集群上运行

准备工作

需要有三台主机，其中一台主机充当master，另外两台主机分别为slave01，slave02，并且要求三台主机处于同一个局域网下

通过命令：ifconfig

可以查看主机的IP地址，如下图所示

本集群的三台机器的IP地址如下

10.129.0.118　　master

10.129.0.223　　slave01

10.129.0.124　　slave02

通过命令：ping　　IP地址

可以查看与另一台主机的连通性

如下所示

注意：在shell命令下通过CTRL+C　　可以结束命令的执行

三台主机的用户名均为dongjingnan

修改三台主机的/etc/hosts　　

在文件开头添加如下内容

配置ssh无密码登录本机和集群

在master主机上执行如下命令

将master主机上的公钥发给slave01,slave02

在slave01和slave02上都执行如下命令

可以通过命令：ssh　　主机名

登录指定主机，如下所示

通过命令：exit     //退出

JDK和hadoop的配置和安装

如果无法安装可以通过命令:sudo apt-get update        //更新软件库

执行命令：sudo    vim    ~/.bashrc

在~/.bashrc中添加如下内容

export    JAVA_HOME=/usr/lib/jvm/default-java

执行命令：source    ~/.bashrc

使~/.bashrc文件修改生效

执行命令：java   -version

查看jdk版本号，如下图所示

通过网站https://mirrors.cnnic.cn/apache/hadoop/common/

下载hadoop的最新稳定的版本

在用户主目录下执行命令$ sudo tar -zxvf  ~/Downloads/hadoop-2.9.0.tar.gz    -C   /usr/local

在用户主目录下执行命令$ cd   /usr/local/

在 /usr/local/ 目录下执行命令$  sudo mv ./hadoop-2.9.0    ./hadoop

在 /usr/local/ 目录下执行命令$  sudo chown -R  dongjingnan   ./hadoop    //将dongjingnan替换成你的用户名

编辑  ~/.bahrc  文件，在里面添加如下内容

export　　HADOOP_HOME=/usr/local/hadoop

export　　PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存之后，执行命令: source  ~/.bashrc

切换到目录/usr/local/hadoop/etc/hadoop  并查看该目录下的文件

执行命令$ sudo vim slaves

将里面的内容替换成

slave01

slave02

保存后，执行命令$  sudo vim  core-site.xml

修改成如下内容

<configuration>

　　<property>

　　　　<name>hadoop.tmp.dir</name>

　　　　<value>file:/usr/local/hadoop/tmp</value>

　　　　<description>Abase for other temporary directories.</description>

　　</property>

　　<property>

　　　　<name>fs.defaultFS</name>

　　　　<value>hdfs://master:9000</value>

　　</property>

</configuration>

保存后，执行命令$ sudo vim hdfs-site.xml

<configuration>

　　<property>

　　　　<name>dfs.replication</name>

　　　　<value>3</value>

　　</property>

</configuration>

保存后，执行命令$ sudo    cp    mapred-site.xml.template     mapred-site.xml

执行命令$  sudo   vim  mapred-site.xml

添加如下内容

<configuration>

　　<porperty>

　　　　<name>mapreduce.framework.name</name>

　　　　<value>yarn</value>

　　</property>

</configuration>

保存后，执行命令$ sudo  vim  yarn-site.xml

<configuration>

　　<property>

　　　　<name>yarn.nodemanager.aux-services</name>

　　　　<value>mapreduce_shuffle</value>

　　</property>

　　<property>

　　　　<name>yarn.resourcemanage.hostname</name>

　　　　<value>master</value>

　　</property>

　　<property>

　　　　<name>yarn.nodemanager.resource.memory-mb</name>

　　　　<value>2048</value>

　　</property>

</configuration>

保存后，将master上的/usr/local/hadoop目录复制到各个节点上

在用户的主目录执行命令$ sudo  tar  -zcf    ~/hadoop.master.tar.gz    /usr/local/hadoop

在用户的主目录执行命令$ scp   ~/hadoop.master.tar.gz    slave01:/home/dongjingnan

在用户的主目录执行命令$ scp   ~/hadoop.master.tar.gz    slave02:/home/dongjingnan

执行命令$ ssh   slave01

在slave01的主目录执行命令$  sudo tar -zxvf ~/hadoop.master.tar.gz  /usr/local

在slave01的主目录执行命令$  sudo  chown  -R   dongjingnan    /usr/local/hadoop

执行命令$ exit

在master主目录执行命令$  ssh slave02

在slave02的主目录执行命令$  sudo tar -zxvf ~/hadoop.master.tar.gz  /usr/local

在slave02的主目录执行命令$  sudo  chown  -R   dongjingnan    /usr/local/hadoop

执行命令$ exit

在master主目录执行如下命令$ sudo   vim   /usr/local/hadoop/etc/hadoop/hdfs-site.xml

添加一个属性

<property>

　　<name>dfs.namenode.name.dir</name>

　　<value>file:/usr/local/hadoop/tmp/dfs/name</value>

</property>

保存后，在master主目录下执行如下命令$  sudo vim yarn-site.xml

删除yarn.nodemanager.resource.memory-mb属性

保存后退出

在master主目录下执行命令$  hadoop namenode -format

在master主目录下执行命令$  start-all.sh

在master主目录下执行命令$   jps

可以看到如下进程

在slave01主目录下执行命令$  jps

可以看到如下进程

在slave02主目录下执行命令$ jps

可以看到如下进程

到此，hadoop集群安装完毕

hadoop集群启动时可能出现的问题

问题描述：slave01和slave02都没有出现DataNode进程

解决办法：每次启动集群前删除slave01和slave02节点上/usr/local/hadoop/tmp/dfs/目录下的data文件夹，然后新建一个data空的文件夹

再重新格式化namenode节点，就可以解决了。

在master节点执行命令$ stop-all.sh

可以关闭hadoop集群

接下来进行spark集群的安装

在火狐浏览器输入网址http://spark.apache.org/downloads.html   可以下载spark软件包

在master主目录下执行命令$ sudo   tar   -zxvf   ~/Downloads/spark-2.3.0-bin-without-hadoop.tgz   -C    /usr/local

在master主目录下执行命令$ sudo    mv   /usr/local/spark-2.3.0-bin-without-hadoop      /usr/local/spark

在master主目录下执行命令$  sudo   chown   -R    dongjingnan     /usr/local/spark

修改~/.bashrc文件

添加如下内容

执行命令$ source  ~/.bashrc

执行命令$ cd   /usr/local/spark/conf

执行命令$  cp  slaves.template   slaves

执行命令$   sudo vim  slaves

添加如下内容

slave01

slave02

执行命令$   cp   spark-env,.sh.template   spark-env.sh

执行命令$   sudo vim spark-env.sh

添加如下内容

SPARK_MASTER_IP设置为你自己的master的IP地址

保存后，执行如下命令$

将/usr/local/目录下的spark文件夹打包后发送到slave01和slave02

如下所示

将slave01和slave02节点上的spark.master.tar.gz解压到/usr/local/目录下，并授权给slave01和slave02的用户名

启动hadoop集群

执行命令$  start-all.sh

启动spark集群

执行命令$  start-master.sh

执行命令$   start-slaves.sh

如下图所示

在master主机登录网址http://master:8080  可以看到如下内容

关闭spark集群

执行命令$ stop-slaves.sh

执行命令$ stop-master.sh

在集群中运行应用程序JAR包

在集群中运行spark-shell

用户在master主机上的火狐浏览器登录网址http://master:8080/ 查看应用的运行情况

向hadoop yarn 集群管理器提交应用

在master主机登录上图绿色圈住的网址，查看应用的运行情况

为了进行下面的程序，请把所需的文件上传到hdfs中，以备后面使用，另外每次关机之后，再重启后又要重新做一遍

在集群中运行spark-shell

本实验所需的数据集可以在网址https://archive.ics.uci.edu/ml/machine-learning-databases/  下载

实验所需的数据集是鸢尾花数据集

在网址https://www.jetbrains.com/idea/downloads/#section=windows 下载Intellij IDEA

选择使用的操作系统的环境，建议下载Ultimate版本，因为好像Community版本不能够将编写的程序打包成jar文件，下文要用到打包的jar文件

刚开始的时候不要设置SparkConf后的setmaster()内容

kmeans算法的实现代码如下图所示

打包过程如下所示，点击file--Project Structure--单击＋号

单击Build-Build Artifacts..  之后在单击下图中的Build

稍等会，可以看到下图中出现out 文件夹

找到项目打包成的jar文件夹，如下图所示

此时设置SparkConf后的setMaster()和setJar()

接下来运行程序单击Run-->Run kmeans 出现如下图所示

打开网址htttps://master:7077/查看应用运行情况

到此，整个项目运行完毕。

谢谢观看，不对之处，欢迎多多指正。