012 Spark在IDEA中打jar包，并在集群上运行（包括local模式，standalone模式，yarn模式的集群运行）

一：打包成jar

1.修改代码

　　

2.使用maven打包

　　但是目录中有中文，会出现打包错误

　　

3.第二种方式

　　

4.下一步

　　

5.下一步

　　

6.下一步

　　

7.下一步

　　

8.下一步

　　

9.完成

　　

二：在集群上运行（local模式）

1.上传

　　

2.学习spark-submit的使用方式

　　

3.运行（local模式）

　　

4.运行结果

　　

三：集群上运行（standalone模式）

1.DeoloyMode

　　表示Driver执行的位置。

　　client如果是参数，则表示driver执行在执行spark-submit命令的机器上。

　　cluster是参数，则表示driver会运行在集群中选择的某一台机器上。

2.运行（standalone模式的client）

　　

3.结果（8080端口）

　　

4.运行（standalone模式的cluster）

　　

5.结果

　　

四：介绍模式

1.client

　　

2.cluster

　　工作中一般都是这个，想一下还是很符合实际的。

　　

五：YARN模式

1.使用方式

　　将上面的--master修改成yarn就可以运行了。