Windows下基于eclipse的Spark应用开发环境搭建

原创文章，转载请注明： 转载自www.cnblogs.com/tovin/p/3822985.html

一、软件下载

　　maven下载安装 ：http://10.100.209.243/share/soft/apache-maven-3.2.1-bin.zip
       jdk下载安装：
        　　http://10.100.209.243/share/soft/jdk-7u60-windows-i586.exe（32位）
        　　http://10.100.209.243/share/soft/jdk-7u60-windows-x64.exe（64位）
    　eclipse下载安装：

　　http://www.eclipse.org/downloads/download.php?file=/technology/epp/downloads/r     elease/kepler/SR2/eclipse-jee-kepler-SR2-win32.zip（32位）
　　http://www.eclipse.org/downloads/download.php?file=/technology/epp/downloads/r    elease/kepler/SR2/eclipse-jee-kepler-SR2-win32-x86_64.zip（64位）

　　scala下载安装：http://www.scala-lang.org/files/archive/scala-2.10.4.msi

　　

二、环境变量配置

　　JAVA_HOME=C:\Program Files\Java\jdk1.7.0_17
    　M2_HOME=D:\soft\apache-maven-3.2.1
    　SCALA_HOME=D:\soft\scala-2.10
    　PATH=%PATH%;%JAVA_HOME%\bin;%M2_HOME%\bin;%SCALA_HOME%\bin

　　

三、Eclipse配置

　　1、eclipse scala插件安装    
    　　　在Eclipse中，依次选择“Help” –> “Eclipse Marketplace”，输入scala安装Scala IDE

　　　　

　　2、eclipse配置jdk

　　　　进入Window->Preferences配置jdk

　　　　

　　3、eclipse配置maven

　　　　 

四、Spark应用开发

　　1、创建maven工程

　　　　

　　2、修改pom.xml添加依赖包

　　　　

　　　　注意：如果有依赖除hadoop、spark之外的包，打包时需要把依赖包也加进去。为了将依赖包加入，需要在pom.xml中加入如下内容　　

　　　

　　3、转成java工程（方便使用Spark Java API进行开发）

　　

　　4、编写代码编译、打包    
   　　 工程点右键选择分别执行Maven clean、Maven install，至此在工程项目下target目录会有目标jar包生成

　　　　

　　5、运行Spark应用

　　　　上传编译好的jar包至spark集群client，执行以下命令运行程序   
    　　　/usr/local/spark/bin/spark-submit  --class YourMainClass --master yarn-cluster YourJarPath
　　　　YourMainClass：main函数类名
    　　　YourJarPath：jar包绝对路径

原创文章，转载请注明： 转载自www.cnblogs.com/tovin/p/3822985.html