Spark（八） -- 使用Intellij Idea搭建Spark开发环境

Intellij Idea下载地址：

官方下载

选择右下角的Community Edition版本下载安装即可

本文中使用的是windows系统

环境为：

jdk1.6.0_45

scala2.10.5

在网上下载jdk和scala的安装包双击运行安装即可

注意：如果之后要将scala文件打包成jar包并在spark集群上运行的话，请确保spark集群和打包操作所在机器 环境保持一致！不然运行jar包会出现很多异常

要使用idea开发spark程序首先要安装scala插件

进入idea主界面

在线安装：

选择Plugins



输入scala



选择安装即可

离线安装：

scala离线插件包

下载完scala插件包之后，在idea主界面的Plugins中选择从本地安装



选择下载好的scala插件安装即可

本文使用的是Idea14.1.3 对应的scala插件版本为1.5

不同版本的Idea对应的scala插件版本可能不同，无法识别

现在可以用idea来新建一个scala项目

New Project->Scala

再此页面中选择jdk和scala安装的目录，Idea会自动识别

Finish完成Project的创建

在File中选择Project Structure对项目进行配置

选中左侧的Mudules，点击+号添加一下新的Module。Idea中的Project相当于Eclipse中的一个WorkSpace，里面的Module相当于Project

新建一个First的Module

在src目下新新建main和scala目录，并设置为Sources类型

点击左侧的Liberaries，点击+进行添加spark的jar包

只要引入图中的那个jar包即可，spark版本为1.3.1，一般下载spark之后可以在其目录下找到

在scala文件夹下右键新建一个scala class，类型选择为Object

编写简单的代码

File->Project Structure->在右侧选择Artifacts->JAR->From modules with dependencies

选择新建的Test

将默认的SparkApp:jar重新名一下，并将依赖包删除，只剩First这个module本身（因为集群上已经安装了jdk，scala和spark，所以那些包可以去掉节省编译时间）

在菜单栏上选择Build->Build Artifacts

如图所示的操作

编译成功后可以在对应的输出文件夹下找到jar包

需要注意：

编译选择Main Class时如果是手动选择Object的话，Idea会弹出错误提示xx is not acceptable，而让其自动过滤选择的时候就不会。。。

scala代码中，如果注释中有中文默认可能会编译错误

在下图设置中加入

-ENCODING UTF-8

即可