Spark系列—02 Spark程序牛刀小试

一、执行第一个Spark程序

1、执行程序

我们执行一下Spark自带的一个例子，利用蒙特·卡罗算法求PI：

启动Spark集群后，可以在集群的任何一台机器上执行一下命令：

/home/spark/spark-1.6.1-bin-hadoop2.6/bin/spark-submit \

--class org.apache.spark.examples.SparkPi \

--master spark://master:7077 \

--executor-memory 1G \

--total-executor-cores 2 \

/home/spark/spark-1.6.1-bin-hadoop2.6/lib/spark-examples-1.6.1-hadoop2.6.0.jar \

100

在执行过程中bash上的信息:

执行完成bash上的信息:

执行过程中WebUI上的信息:

执行完以后WebUI上的信息:

2、命令解析

/home/spark/spark-1.6.1-bin-hadoop2.6/bin/spark-submit \

①spark-submit：提交任务，它是一个Driver，至于它的实现细节后续会有介绍

--class org.apache.spark.examples.SparkPi \

②—class 指定任务的类名（使用反射调用该类的main方法）

--master spark://master:7077 \

③—master 指定集群Master的地址

--executor-memory 1G \

④—executor 指定为每个executor分配的内存大小

--total-executor-cores 2 \

⑤—total-executor 指定分配给所有executor总的处理器核数

（这里先说一下executor是Worker启动的子进程，executor负责执行任务，其细节以后会介绍的。）

/home/spark/spark-1.6.1-bin-hadoop2.6/lib/spark-examples-1.6.1-hadoop2.6.0.jar \

⑥指定任务的jar包地址

100

⑦任务的类的main方法的参数

二、使用 spark-shell

spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下用scala编写spark程序，spark-shell也是一个Driver。

1、启动 spark-shell

/home/spark/spark-1.6.1-bin-hadoop2.6/bin/spark-shell \

--master spark://master:7077 \

--executor-memory 1g \

--total-executor-cores 2

这个命令的解析其实和上面的spark-submit是一样的，我在这再啰嗦一遍：

参数说明：

--master spark://master:7077 指定Master的地址

--executor-memory 1g 指定每个executor可用内存为1G

--total-executor-cores 2 指定所有executor总的处理器核数为2

还有一点需要非常注意：

如果启动 spark shell 时没有指定master地址，但是也可以正常启动 spark shell 和执行 spark shell 中的程序，其实是启动了spark的local模式，该模式仅在本机启动一个进程，没有与集群建立联系。

还要说明一点：

spark shell 中已经默认将SparkContext类初始化为对象sc。用户代码如果需要用到，则直接应用 sc 即可。SparkContext是Spark集群的入口，Driver只有初始化了SparkContext才可以向Spark集群提交任务，所以这个SparkContext和重要，以后我们会详细介绍整个SparkContext的初始化流程的，现在可以先记住SparkContext是集群的入口，就像Spring中的ApplicationContext一样。

2、在spark shell中编写WordCount程序

（1）首先启动hdfs

（2）向hdfs上传文件words.txt 到 hdfs://hadoop01:9000/spark/words.txt

words.txt的内容：

hello tom
hello jim
hello tom and kitty

（3）在spark shell 中用scala语言编写spark程序：

sc.textFile("hdfs://hadoop01:9000/spark/words.txt").flatMap(_.split(" "))

.map((_,1)).reduceByKey(_+_).saveAsTextFile("hdfs://hadoop01:9000/spark/out")

（4）使用hdfs命令查看结果：

hdfs dfs -cat hdfs://hadoop01:9000/spark/out/part*

(jim,1)
(tom,2)
(hello,3)
(and,1)
(kitty,1)

（5）程序简单说明：

sc.textFile("hdfs://hadoop01:9000/spark/words.txt") 从hdfs中读取数据

flatMap(_.split(" ")) 先map再压平

map((_,1)) 将单词和1构成元组

reduceByKey(_+_) 按照key进行reduce，并将value累加

saveAsTextFile("hdfs://hadoop01:9000/spark/out") 将结果写入到hdfs中

最后：

也可以使用 IDEA 编写完一个程序后打包，使用spark-submit方式提交到集群，在这里我就不写了。一定要注意spark-submit的配置命令不要出错，还要注意自己的程序需要的参数的正确，不要忘了起hdfs。