win7+idea+maven搭建spark源码阅读环境

1.参考。

利用IDEA工具编译Spark源码(1.60~2.20)

https://blog.csdn.net/He11o_Liu/article/details/78739699

Maven编译打包spark（2.1.0）源码及出现问题的解决方案（win7+Intellij IDEA）

https://blog.csdn.net/u011464774/article/details/76704785

通过maven将spark源码导入idea
https://blog.csdn.net/pcno1/article/details/53433740

使用 IntelliJ IDEA 导入 Spark 最新源码及编译 Spark 源代码（博主强烈推荐）
https://www.cnblogs.com/zlslch/p/5881893.html

利用IDEA查看和修改spark源码

https://blog.csdn.net/fishseeker/article/details/63741265

Spark源码之路（一）：Windows下用IDEA搭建源码阅读环境

spark source code下载：（我选择版本的是spark-2.2.0）

https://github.com/apache/spark/tree/v2.2.0

2.在使用sbt/maven用idea导入源码之前，先是在命令行build spark，但是构建失败。

a.Build Spark 的详细步骤参见构建Spark（中文）
http://spark.apachecn.org/docs/cn/2.2.0/building-spark.html#apache-maven

b.将MAVEN_OPTS设定为环境变量，win7下创建一个用户变量：

  变量名是MAVEN_OPTS 值为 -Xmx2g (or more)

c.在spark源码解压后的根目录D:\IdeaProject\spark-2.2.0下执行：
  mvn -DskipTests clean package

报错：
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.8:
run (default) on project spark-core_2.11: An Ant BuildException has occured: Exe
cute failed: java.io.IOException: Cannot run program "bash" (in directory "D:\Id
eaProject\spark-2.2.0\core"): CreateProcess error=2, 系统找不到指定的文件。
[ERROR] around Ant part ...<exec executable="bash">... @ 4:27 in D:\IdeaProject\

解决：安装Windows Subsystem for Linux ，简单说就是可以在WINDOWS上执行Bash命令。
至少需要win10系统。我的是win7解决不了。

3.决定直接使用idea的open object打开源码压缩包，直接编译。