Spark程序本地运行

Spark程序本地运行

 

本次安装是在JDK安装完成的基础上进行的！  SPARK版本和hadoop版本必须对应！！！

spark是基于hadoop运算的，两者有依赖关系，见下图：

前言：

1.环境变量配置：

1.1 打开“控制面板”选项

1.2.找到“系统”选项卡

1.3.点击“高级系统设置”

1.4.点击“环境变量”

2.新建和编辑环境变量

1.下载hadoop-2.6.0.tar.gz文件，并解压在本地

1.1 新建环境变量上配置

HADOOP_HOME
D:\JAVA\hadoop

1.2 修改PATH路径

$HADOOP_HOME/bin;

2.下载scala-2.10.6.zip文件，并解压在本地

2.1 新建环境变量上配置

SCALA_HOME
D:\JAVA\scala

2.2 修改PATH路径

%SCALA_HOME%\bin;%SCALA_HOME%\jre\bin;

3.下载spark-1.6.2-bin-hadoop2.6.tgz文件，并解压在本地

3.1 新建环境变量上配置

SPARK_HOME

D:\JAVA\spark_home\bin

3.2 修改PATH路径

PATH

$SPARK_HOME/bin;

4.下载scala-IDE.zip文件，并解压在本地

新建一个工程，修改library：

Scala library一定要是：2.10.X

新建一个自己的library：添加一个Jar文件（${spark_home}/lib）

下跟Word Count代码

package com

import org.apache.spark.SparkConf
import org.apache.spark.api.java.JavaSparkContext
import org.apache.spark.SparkContext

/**
 * 统计字符出现次数
 */
object WordCount {
  def main(args: Array[String]): Unit = {

         System.setProperty("hadoop.home.dir", "D:\\JAVA\\hadoop");
         val sc = new SparkContext("local", "My App")
         val line = sc.textFile("/srv/1.txt")

         line.map((_, 1)).reduceByKey(_+_).collect().foreach(println)

         sc.stop()
    println(111111)
  }
}

hadoop下载点击这里

spark下载点击这里

scala安装包，scala IDE下载点击这里