使用IDEA开发SPARK提交remote cluster执行

开发环境

操作系统：windows

开发工具：IntelliJ IDEA  14.1.1 需要安装scala插件

编译环境：jdk 1.7   scala 2.10.4

使用IDEA开发spark应用

1：新建scala项目：

2：选择scala版本，需要spark的scala版本对应

点击上图Scala SDK的create按钮，弹出如下对话框，选择红框

3：添加spark的jar作为library

我直接复制spark安装目录下面的lib里面所有的jar作为library.

4:编写spark应用

1. import scala.math.random
2. import org.apache.spark._
3. /** Computes an approximation to pi */
4. object SparkPi{
5. def main(args:Array[String]){
6. val conf =newSparkConf().setAppName("Spark Pi").setMaster("spark://192.168.1.88:7077").
7. set("spark.driver.host","192.168.1.129").setJars(List("D:\\IdeaProjects\\scalalearn\\out\\artifacts\\scalalearn\\scalalearn.jar"))
8. val spark =newSparkContext(conf)
9. val slices =if(args.length >0) args(0).toInt else2
10. val n =100000* slices
11. val count = spark.parallelize(1 to n, slices).map { i =>
12. val x = random *2-1
13. val y = random *2-1
14. if(x*x + y*y <1)1else0
15. }.reduce(_ + _)
16. println("Pi is roughly "+4.0* count / n)
17. spark.stop()
18. }
19. }

向远程spark集群提交应用

上面的代码中有段setJars(List("D:\\IdeaProjects\\scalalearn\\out\\artifacts\\scalalearn\\scalalearn.jar"))这里要说明下，就是当前工程编译的jar包的绝对路径。 点击File->Project Structure,弹出下面的对话框进行操作

 

 

好了现在就OK了

 

来自为知笔记(Wiz)