spark复习总结02

1.spark执行原理图

　spark程序启动后创建sparkContext作为程序的入口，sparkContext可以与不同类的集群资源管理器（Cluster Manager）进行通信，从而获得程序运行所需要的资源， 获取到集群中其他工作节点（worker node）上对应的Executors,之后sparkContext将任务分发给executor进行执行。

　　1) 构建Spark Application运行环境

　　　　在Driver Program中新建SparkContext（包含SparkContext的程序称为Driver Program）

　　2) SparkContext向资源管理器申请运行Executor资源，并启动Executor，Executor向SparkContext申请task

　　3）SparkContext获得Executor后，Application代码会被发送到各个executor上

　　4）SparkContext构建RDD DAG图，将RDD DAG图分解为Stage DAG图，将stage提交给TaskScheduler,最后TaskSecheduler将Task发送给Executor执行

　　5） Task在Executor上执行，执行完毕后释放所有资源

2.Driver的运行方式（提交的部署模式）：运行在worker节点上（集群模式）和运行在客户端上（客户端模式）

　　2.1 Driver运行在worker节点上

bin/spark-submit \
--master spark://hadoop-senior.ibeifeng.com:7077 \
--deploy-mode cluster\
/opt/datas/jars/SparkApp.jar 

　　　　

　　　　客户端提交作业给Master，Master让一个worker启动Driver，其余的worker启动Executor，Executor启动后向Driver进行注册；

　　　　Dirver启动后会创建DAGScheduler,Executor启动后会创建TaskScheduler;

　　　　DAGScheduler将作业分解为一到多个Stage，每个Stage根据RDD的partition个数决定了Task的个数（TaskSet），然后将生产的task set 放入到TaskScheduler中,然后TaskScheduler将Task分配的不同的Executor中执行，所有的Stage执行完成作业结束。

　　2.2 Driver运行在client上（此处的client表示提交作业的那台机器）

bin/spark-submit \
--master spark://hadoop-senior.ibeifeng.com:7077 \
--deploy-mode client \
/opt/datas/jars/SparkApp.jar 

　　　　

　　　　客户端之间启动程序，启动Driver相关工作：DAGScheduler和Master，客户端的Driver和worker向Master进行注册；

　　　　Master让worker节点启动Executor，并向Driver进行注册；

　　　　Driver的DAGScheduler将作业分解为相应的Stage，每个Stage包含的Task分配给TaskScheduler,TaskScheduler将task分配到不同的Executor执行，所有的Stage执行完成后作业结束。

2.窄依赖和宽依赖

　　窄依赖：每个父RDD的Partition最多被子RDD的一个Partition所使用。

　　宽依赖：每个父RDD的Partition会被多个子RDD的Partition所使用。

3.Spark四大特性

　　1）快速的：在内存中进行计算以及DAG图

　　2）通用的：包括批处理，流处理，图像计算等

　　3）简单的：Scale，Java、Python

　　4）可以运行在任何地方：hdfs，hive，hbase，yarn等

4.RDD的五大特性

　　1）A list of partition

　　　　一系列的分片

　　2）A function for computing each split

　　　　在每一个分片上都有一个函数去迭代/执行/计算它

　　3）A list of dependences on other RDDS

　　　　一系列的依赖：RDDa转换为RDDb,RDDb转换为RDDc,那么RDDc就依赖于RDDb，RDDb依赖于RDDa

　　4）Optionally,a partitioner for key-value RDDs

　　　　对于key-value的RDD,可指定一个parttitioner(分区函数)，来告诉它如何分区，默认采用的是hash分区，常有：hash,range

　　5) Optionally,a list of preferred locations to compute each split on

　　　　处理RDD split进行计算时，split数据在哪里，我们尽量在那台机器上进行计算（移动计算而不是移动数据）

5.spark历史日志监控配置

　　1）服务端配置（conf/spark-env.sh）

SPARK_HISTORY_OPTS=-Dspark.history.fs.logDirectory=hdfs://hadoop-senior.ibeifeng.com:8020/user/beifeng/spark/eventLogs

　　2 ) 客户端配置（conf/spark-defaults.conf）

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://hadoop-senior.ibeifeng.com:8020/user/beifeng/spark/eventLogs

　　3 ) 启动历史服务器

sbin/start-history-server.sh