Spark SQL整体架构

0.整体架构

　　

　　注意：Spark SQL是Spark Core之上的一个模块，所有SQL操作最终都通过Catalyst翻译成类似的Spark程序代码被Spark Core调度执行，其过程也有Job、Stage、Task的概念。

1.Catalyst执行优化器

　　1.1 Catalyst最主要的数据结构是树，所有的SQL语句都会用树结构来存储，树中的每个节点都有一个类，以及0或多个子节点。Scala中定义的新的节点类型都是TreeNode这个类的子类，这些对象是不可变的。

　　1.2 Catalyst另外一个重要的概念是规则，基本上，所有的优化都是基于规则的。

　　1.3 执行过程

　　　　1 分析阶段

　　　　　　分析逻辑树，解决引用

　　　　　　使用Catalyst规则和Catalog对象来跟踪所有数据源中的表，以解决所有未辨识的属性

　　　　2 逻辑优化

　　　　3 物理计划

　　　　　　Catalyst会生成很多计划，并基于成本进行对比

　　　　　　接受一个逻辑计划作为输入，生产一个或多个物理计划

　　　　4 代码生成

　　　　　　将Spark SQL代码编译成Java字节码