spark源码本地调试

1、前提条件：

1）安装jdk

版本：

2）安装scala

版本：

3）安装sbt

版本：

4）安装maven

5）安装git

版本：

6）安装idea，并配置好sbt、git、maven

2、从github上下载源码spark-master.zip文件，并解压

3、编译：

windows命令窗口，cd /d  E:\work\architure\spark\spark-master\spark-master 进入spark源码目录

>mvn -DskipTests clean package

该方法总是会报错，编译不成功

在网上找到解决方法：

mvn clean -Dmaven.clean.failOnError=false

就可以build了

4.在idea中导入源码

目录如下

本地执行：

Run->Edit Configurations

这样LogQuery类就在执行窗口