Catalyst揭秘 Day2 Catalyst源码初探

Catalyst揭秘 Day2

Catalyst源码初探

这节课从源码角度来讲catalyst。

首先有一个观点要澄清，就是技术不是越底层就越是性能和效率更高。因为除了指令执行性能以外，更重要的是架构层次，里面的核心是数据和代码的本地性问题。如果是能在内存中或者多线程运行，很多时候Java会比C语言性能高很多。

一般对rdd的操作都没有dataframe的快，主要就是catalyst这个执行优化器的作用。

SqlContext处理流程

写SparkSql的程序，有一个非常核心的东西，就是SQLContext。

SQLContext是基于SparkContext来构建的SQL和dataframe数据处理的上下文，会做一部分解析和驱动工作之后，还是会把执行以rdd的方式交给SparkContext来执行。

从源码的注释看，SQLContext是处理结构化数据的入口，允许我们创建dataframe,并可以基于dataframe进行sql查询。

首先，通过catalog，我们可以对plan进行初步处理，比如确定表名和表中的列名，生成Logical plan。

其内部核心是一个Hashmap，key是表名，value是LogicalPlan，主要提供了对表管理的一系列方法。

sqlParser负责对SQL语法进行分词，构建并返回一个语法树。

其中ParserDialect是核心，parse方法会负责具体的分词处理。

analyzer是真正的语法分析器，进行最原始的语法解析，变成logic plan。

Optimizer里面有一系列的优化规则，里面都是模式匹配，可以随意加规则，而且也不需要知道所有的东西。

SparkPlanner 优化物理执行计划，包含了一系列的优化策略，来优化我们物理执行的过程。

QueryExecution，是SQL执行执行上下文，负责生成结果。

QueryExecution中，会生成RDD。

至此，我们完整走了一遍流程，可以看到sql经过一系列处理后，生成了RDD，这个印证了昨天说的整个流程过程。

结果展现

那么这个生成的RDD后续会如何使用，我们简单的看一句SQL的结果展现：

从show方法开始：

show中会调用take方法，进而调用head方法。

head方法主要调用了collect方法。这里主要是对语句进行执行。

之后会执行SparkPlan中的execute方法生成RDD。

而其最终，会调用到RDD的collect方法，生成Job，进行运行。

欲知后事如何，且听下回分解!

DT大数据每天晚上20：00YY频道现场授课频道68917580