Windows下Eclipse+Scala+Spark开发环境搭建

1、安装JDK及配置java环境变量

本文使用版本为jdk1.7.0_79，过程略

2、安装scala

本文使用版本为2.11.8，过程略

3、安装spark

本文使用版本为spark-2.0.1-bin-hadoop2.7，解压后路径：D:\spark-2.0.1-bin-hadoop2.7，注意：Spark的文件目录路径名，不能出现空格，类似于“Program Files”这样的文件夹名是不被允许的。

配置环境变量：

SPARK_HOME=D:\spark-2.0.1-bin-hadoop2.7

Path=%SPARK_HOME%/bin

4、安装Hadoop

本文使用版本为hadoop-2.7.1，解压后路径：D:\Program Files\hadoop-2.7.1

配置环境变量

HADOOP_HOME=D:\Program Files\hadoop-2.7.1

Path=%HADOOP_HOME%/bin

从https://github.com/steveloughran/winutils下载winutils.exe文件，并将其复制到Hadoop的bin目录下

5、安装scala插件

下载地址http://scala-ide.org/download/prev-stable.html

6、安装Maven-Scala插件

通过http://alchim31.free.fr/m2e-scala/update-site/下载安装（可能网络问题导致经常安装不成功），如果eclipse已经有Maven插件了，可只选择第三项

添加远程的原型或模板目录：http://repo1.maven.org/maven2/archetype-catalog.xml

新建Archetype

参考：http://docs.scala-lang.org/tutorials/scala-with-maven.html

7、创建Maven-Scala工程

创建maven工程，选择scala插件；add scala nature。