Spark开发环境

1. Win7下利用Intellij IDEA构建Spark开发环境

前提：Intellij IDEA Community 免费版下载（最新版14.0.1），Scala插件下载（最新版scala-intellij-bin-1.1.2.zip）

1> 安装Intellij IDEA Scala运行环境

http://blog.csdn.net/asongoficeandfire/article/details/26412493

Note: 

a. 新建Scala Project后，会出现相应的树形目录，在src中新建测试文件时，没有scala文件可选（solution：点击最右侧Project Structure -> Platform Setting -> Global Libraries -> 点击中间的"+" -> Scala SDK即可显示Scala相关文件）;

b. 调节字体大小及背景颜色（点击左上File -> Setting -> Editor -> Colors & Fonts -> 先Save As后再调节文字大小及背景颜色）

c. 将相应文件打包成.jar文件，便于提交该项目运行于Spark集群上（File->Project Structure或者点击右侧相应的图标均可进入项目的配置界面，在左侧选择Artifacts，点击绿色的+号，即新建一个打包操作，选中新建的unnamed打包项之后，可以配置jar包的名称，输出路径，还可以选择jar包中包含的其它文件；配置完成后，我们就可以在菜单栏中选择Build->Build Artifacts...，然后使用Build、ReBuild等命令打包啦。打包完成后会在状态栏中显示“Compilation completed successfully...”的信息，去jar包输出路径下查看，就能拿到我们的jar包啦。）

2. 搭建Spark源码阅读环境（需要联网）

前提：Linux 下git安装（http://senluowanxiangt.blog.163.com/blog/static/14060264620136288321016/）

注意：今天在测试环境使用yum安装，遇到一个问题：Error: Cannot retrieve metalink for repository: epel. Please verify its path and try again

Solution：修改文件“/etc/yum.repos.d/epel.repo”， 将所有baseurl的注释取消， mirrorlist注释掉即可。

1> 在linux操作系统上生成intellij项目文件(需要安装git，不需要安装scala，sbt会自动下载）:

-> 在spark源代码根目录下，输入sbt/sbt gen-idea即可，过程如下：

[root@Master spark-1.1.0]# sbt/sbt gen-idea
    Using /home/Spark/husor/jdk as default JAVA_HOME.
    Note, this will be overridden by -java-home if it is set.
    Attempting to fetch sbt
    ######################################################################## 100.0%
    Launching sbt from sbt/sbt-launch-0.13.5.jar
    Getting org.scala-sbt sbt 0.13.5 ...

2> 在intellij IDEA中直接通过“Open Project”打开项目，导入上述生成的Spark 源码intellij项目文件。

Note：

如果你在windows下阅读源代码，建议先在linux下生成项目文件，然后导入到windows中的intellij IDEA中。

参照：http://dongxicheng.org/framework-on-yarn/apache-spark-intellij-idea/