Spark实战1:shell+独立App使用总结

　　Spark改进了Hadoop执行非流式算法的需要多次IO的缺陷，Spark的所有操作都是基于RDD弹性分布式数据集这种数据结构的，对RDD的操作主要的操作包括transform和action两种操作。另外，Spark对开发者好用是因为程序由其内在机制自动分布式执行，不需要程序员对分布式考虑太多，且在内存中基本不需要磁盘IO。

Spark Shell

1.1基础RDD操作

1 启动shell，进入spark安装路径。

输入 ./bin/spark-shell

2 创建RDD弹性分布式数据集：（/user/mapr/README.md）

val textFile = sc.textFile("README.md")

3 action命令的使用：统计文本的行数。

textFile.count()

4 transform命令的使用：

val linesWithSpark = textFile.filter(line => line.contains("Spark"))

5 action命令和transform命令的结合使用

textFile.filter(line => line.contains("Spark")).count()

1.2 其它RDD操作

1 统计单词最多的行：

textFile.map(line => line.split(" ").size).reduce((a, b) => if (a > b) a else b)

运行机制：Map函数创建并返回一个新的RDD，为每行的单词数；由于惰性机制，reduce调用RDD并统计单词最多的行。

2 使用math函数，使计算过程更直观

import java.lang.Math

textFile.map(line => line.split(" ").size).reduce((a, b) => Math.max(a, b))

3 WordCount例子的spark版，实现更简单：

val wordCounts = textFile.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey((a, b) => a + b)

wordCounts.collect()

1.3 缓存机制

RDD内存惰性机制，只有action调用需要的RDD时，才会执行transform操作，显然只有节省了带宽。但是若多次action操作调用一个RDD，这个RDD会被计算多次，这样就引出了缓存机制的优势。

1 RDD保存到缓存中：

linesWithSpark.cache()

2 下面两次调用RDD，只执行一次计算：

linesWithSpark.count()

linesWithSpark.count()

参考官方教程：http://spark.apache.org/docs/latest/quick-start.html