《spark快速大数据分析》

第一

概论

1.spark的特点

适用多种不同分布式平台的场景，包括批处理，迭代算法，交互式查询，流处理；

spark提供了python，scale，java等接口

2.spark的组件

spark的底层组件包括：独立调度器，Hadoop YARN，Apache Mesos

spark的内核包括：任务调度，内存管理，错误恢复，RDD

spark的顶层包括：spark sql，spark streaming，mlib，graphx

第二

环境搭建

1.说明：

spark是用scale语言编写的；运行在java的虚拟机上，所有安装spark之前需要安装jdk

2.步骤：

首先：安装JDK

下载JDK，再双击dmg文件安装。

再者：配置JDK

vim .bash_profile

export JAVA_HOME="/Library/Internet Plug-Ins/JavaAppletPlugin.plugin/Contents/Home"

export PATH=${JAVA_HOME}/bin:$PATH

source .bash_profile

再者：下载spark

下载地址为http://spark.apache.org/downloads.html,选择类型为Pre-build for Hadoop 2.7 and later

下载后的文件为spark-2.2.1-bin-hadoop2.7.tar

再者：解压spark压缩文件

cd ~/project

cp ~/Downloads/spark-2.2.1-bin-hadoop2.7.tar spark-2.2.1-bin-hadoop2.7.tar

tar -xf spark-2.2.1-bin-hadoop2.7.tar

ls

最后：启动

cd spark-2.2.1-bin-hadoop2.7

bin/pyspark

3.spark交互式应用

例如：启动pyspark后，依此输入以下命令：

lines = sc.textFile("README.md")
python_lines = lines.filter(lambda line:"python" in line)
python_lines.count()
python_lines.first()

4.使用python构建独立的spark应用

例如：

cd ~/project/spark-2.2.1-bin-hadoop2.7

mkdir app

touch app/helloworld.py

vim app/helloworld.py

bin/spark-submit app/helloworld.py

第三

Spark集群

1.Spark集群启动步骤：

（1）用户通过spark-submit提交应用

（2）spark-submit启动驱动器程序，调用用户定义的main()方法

（3）驱动器与集群管理器通信，申请资源以启动执行器节点

（4）集群管理器为驱动器启动执行器节点

（5）驱动器将RDD操作发送给执行器

（6）执行器保存计算结果并发送给驱动器

（7）若果用户退出spark，则驱动器终止执行器进程，并通过集群管理器释放资源

2.使用spark-submit部署应用

（1）独立集群管理器

bin/spark-submit --master spark://host:7077 --executor-memory 10g my_script.py

（2）Hadoop YARN集群管理器

export HADOOP_CONF_DIR = /opt/hadoop/conf

bin/spark-submit --master yarn --executor-memory 10g my_script.py

（3）Apache Mesos集群管理器

bin/spark-submit --master mesos://host:5050 --executor-memory 10g my_script.py

（4）本地单核

bin/spark-submit --master local --executor-memory 10g my_script.py

（5）本地多核

bin/spark-submit --master local[100] --executor-memory 10g my_script.py

（6）本地无限核

bin/spark-submit --master local[*] --executor-memory 10g my_script.py

第四

Spark的调优

1.配置Spark

（1）使用配置文件配置spark

#配置文件
spark.master local[4]
spark.app.name "My Spark App"
spark.ui.port 36000

#在命令中调用配置文件作为参数
bin/spark-submit --properties-file config.conf

（2）使用bin/spark-submit传递参数配置spark

bin/spark-submit --master local[4] --name "My Spark App" --conf spark.ui.port=36000

（3）使用代码显示配置spark

conf = new SparkConf()

conf.set("spark.master", "local[4]")
conf.set("spark.app.name", "My Spark App")
conf.set("spark.ui.port", "36000")

sc = SparkContext(conf)

2.Spark的执行步骤

（1）生成RDD的有向无环图

（2）物理执行RDD

3.Spark 的调试界面

（1）如果是独立集群器，则使用http://localhost:4040访问调试界面.

第五

使用Spark SQL进行数据查询

1.Spark SQL初始化与查询

例如

from pyspark.sql import HiveContext, Row
#当不能引入hive依赖时
from pyspark.sql import SQLContext, Row

hiveCtx = HiveContext(sc)input = hiveCtx.jsonFile(inputFile)input.registerTemplate("twssts")tweets_list = hiveCtx.sql("SELECT text, retweet_count, FROM tweets ORDER BY retweet_count LIMIT 10")tweets_text_list = tweets_list.map(lambda row:row.text)

第六

RDD的操作

1.操作RDD的步骤

（1）使用数据源创建RDD

（2）转化生成新RDD

（3）对中间重用结果RDD进行persist()操作

（4）使用RDD行动操作

例如：

#!/usr/bin/env/python

from __future__ import print_function

from pyspark.sql import SparkSession

if __name__ == "__main__":
        spark = SparkSession.builder.appName("PythonALS").getOrCreate()

        sc = spark.sparkContext

        rdd = sc.textFile("app/test.txt")

        rdd.persist()

        row_count = rdd.count()
        print(row_count)

        first_line = rdd.first()
        print(first_line)

        spark.stop()

注意：spark的当前目录为根目录，即spark2.2.20-bin-hadoop

例如，求一个集合中所有值的平方和