009 搭建Spark的maven本地windows开发环境以及测试

在看完下面的细节之后，就会发现，spark的开发，只需要hdfs加上带有scala的IDEA环境即可。

　　  当run运行程序时，很快就可以运行结束。

为了可以看4040界面，需要将程序加上暂定程序，然后再去4040上看程序的执行。

　　新建的两种方式，第一种是当时老师教的，现在感觉有些土，但是毕竟是以前写的，不再删除，就自己在后面添加了第二种新建方式。

一：通过maven命令行命令创建一个最初步的scala开发环境

1.打开cmd

　　通过maven命令创建一个最初步的scala开发环境。

　　mvn archetype:generate -DarchetypeGroupId=org.scala-tools.archetypes -DarchetypeArtifactId=scala-archetype-simple  -DremoteRepositories=http://scala-tools.org/repo-releases -DgroupId=com.ibeifeng.bigdata.spark.app -DartifactId=logs-analyzer -Dversion=1.0

　　分两个部分，前面是scala项目需要的插件，后面是确定一个maven工程。

　　

2.等待创建

　　这样就表示创建成功。

　　

3.生成的项目在F盘

　　因为在cmd的时候，进入的是F盘。

　　

4.使用open导入

　　一种IDEA的使用打开方式。

　　

5.在pom.xml中添加dependency

　　HDFS ,Spark core ，Spark SQL ，Spark Streaming

　　这个里面重要的部分是有scala的插件。

 <?xml version="1.0" encoding="UTF-8"?>
 <project xmlns="http://maven.apache.org/POM/4.0.0"
          xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
          xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
     <modelVersion>4.0.0</modelVersion>

     <groupId>sacla</groupId>
     <artifactId>scalaTest</artifactId>
     <version>1.0-SNAPSHOT</version>

     <properties>
         <maven.compiler.source>1.5</maven.compiler.source>
         <maven.compiler.target>1.5</maven.compiler.target>
         <encoding>UTF-8</encoding>
         <spark.version>1.6.1</spark.version>
         <hadoop.version>2.5.0</hadoop.version>
     </properties>

     <dependencies>
         <!-- Spark Core -->
         <dependency>
             <groupId>org.apache.spark</groupId>
             <artifactId>spark-core_2.10</artifactId>
             <version>${spark.version}</version>
             <scope>compile</scope>
         </dependency>
         <!-- Spark SQL -->
         <dependency>
             <groupId>org.apache.spark</groupId>
             <artifactId>spark-sql_2.10</artifactId>
             <version>${spark.version}</version>
             <scope>compile</scope>
         </dependency>
         <!-- Spark Streaming -->
         <dependency>
             <groupId>org.apache.spark</groupId>
             <artifactId>spark-streaming_2.10</artifactId>
             <version>${spark.version}</version>
             <scope>compile</scope>
         </dependency>
         <!-- HDFS Client -->
         <dependency>
             <groupId>org.apache.hadoop</groupId>
             <artifactId>hadoop-client</artifactId>
             <version>${hadoop.version}</version>
             <scope>compile</scope>
         </dependency>

         <!-- Test -->
         <dependency>
             <groupId>junit</groupId>
             <artifactId>junit</artifactId>
             <version>4.8.1</version>
             <scope>test</scope>
         </dependency>

     </dependencies>

     <build>
         <sourceDirectory>src/main/scala</sourceDirectory>
         <plugins>
             <plugin>
                 <groupId>org.scala-tools</groupId>
                 <artifactId>maven-scala-plugin</artifactId>
                 <version>2.15.0</version>
                 <executions>
                     <execution>
                         <goals>
                             <goal>compile</goal>
                             <goal>testCompile</goal>
                         </goals>
                         <configuration>
                             <args>
                                 <arg>-make:transitive</arg>
                                 <arg>-dependencyfile</arg>
                                 <arg>${project.build.directory}/.scala_dependencies</arg>
                             </args>
                         </configuration>
                     </execution>
                 </executions>
             </plugin>
             <plugin>
                 <groupId>org.apache.maven.plugins</groupId>
                 <artifactId>maven-surefire-plugin</artifactId>
                 <version>2.6</version>
                 <configuration>
                     <useFile>false</useFile>
                     <disableXmlReport>true</disableXmlReport>
                     <!-- If you have classpath issue like NoDefClassError,... -->
                     <!-- useManifestOnlyJar>false</useManifestOnlyJar -->
                     <includes>
                         <include>**/*Test.*</include>
                         <include>**/*Suite.*</include>
                     </includes>
                 </configuration>
             </plugin>
         </plugins>
     </build>

 </project>

二：第二种方式

　　这种方式，比较实用。

1.直接新建一个Maven工程

　　需要在pom中添加scala的插件。

2.新建scala文件夹

　　原本生成的maven项目只有java与resources。

　　在project Stucture中新建scala文件夹，然后将scala文件夹编程sources。

　　

3.完成

　　这个截图还是第一种方式下的截图，但是意思没问题。

　　

4.在resources中拷贝配置文件

　　需要连接到HDFS的配置文件。

　　

5.新建包

6.新建类

　　因为有了scala插件，就可以直接新建scala 的 object。

　　

7.启动hdfs

　　因为需要hdfs上的文件，不建议使用本地的文件进行数据处理。　　

8.书写程序

　　这是一个简单的单词统计。

　　重点的地方有两个，一个是setMaster，一个是setAppName。如果没有设置，将会直接报错。

 package com.scala.it

 import org.apache.spark.{SparkConf, SparkContext}

 object TopN {
   def main(args: Array[String]): Unit = {
     val conf=new SparkConf()
       .setMaster("local[*]")
       .setAppName("top3");
     val sc=new SparkContext(conf)
     val path="/user/beifeng/mapreduce/wordcount/input/wc.input"
     val rdd=sc.textFile(path)
     val N=3
     val topN=rdd
       .filter(_.length>0)
         .flatMap(_.split(" ").map((_,1)))
         .reduceByKey((a,b)=>a+b)
         .top(N)(ord = new Ordering[(String,Int)] {
           override def compare(x: (String, Int), y: (String, Int)) : Int={
             val tmp=x._2.compareTo(y._2)
             if (tmp==0)x._1.compareTo(y._1)
             else tmp
           }
         })
     topN.foreach(println)

     sc.stop()

   }
 }

9.直接运行的结果

　　因为是local模式，所以不需要启动关于spark的服务。

　　又因为hdfs的服务已经启动。

　　所以，直接运行run即可。

　　

二：注意的问题

1.path问题

　　程序中的path默认是hdfs路径。

　　当然，可以使用windows本地文件，例如在D盘下有abc.txt文件，这时候path="file:///D:/abc.txt"