1.准备

本文主要讲述如何在Ubuntu 16.04 中搭建 Spark 2.11 单机开发环境,主要分为 3 部分:JDK 安装,Scala 安装和 Spark 安装。

  1. JDK 1.8:jdk-8u171-linux-x64.tar.gz
  2. Scala 11.12:Scala 2.11.12
  3. Spark 2.2.1:spark-2.2.1-bin-hadoop2.7.tgz

需要注意的是,Spark 版本与 Scala 版本需要匹配一致。

Note: Starting version 2.0, Spark is built with Scala 2.11 by default. Scala 2.10 users should download the Spark source package and build with Scala 2.10 support.

2.JDK 安装

下载 jdk-8u171-linux-x64.tar.gz 后,解压到自己指定目录。

$ sudo mkdir /usr/local/java
$ sudo tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/local/java

配置环境变量,打开 profile 文件

$ sudo gedit /etc/profile

在文件末尾写入,注意 JAVA_HOME 是 JDK 的安装路径:

export JAVA_HOME=/usr/local/java/jdk1.8.0_171
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH

保存后退出,运行如下命令,使修改环境变量即可生效:

$ source /etc/profile

检测java是否成功安装

$ java -version

3.Scala 安装

下载 Scala 2.11.12 后,解压到自己指定目录。

$ sudo mkdir /usr/local/scala
$ sudo tar -zxvf scala-2.11.12.tgz -C /usr/local/scala

配置环境变量,打开 profile 文件

$ sudo gedit /etc/profile

在文件末尾写入,注意 SCALA_HOME 是 Scala 的安装路径:

export SCALA_HOME=/usr/local/scala/scala-2.11.12
export PATH=${SCALA_HOME}/bin:$PATH

保存后退出,运行如下命令,使修改环境变量即可生效:

$ source /etc/profile

检测java是否成功安装

$ scala  -version

4.Spark 安装

下载 spark-2.2.1-bin-hadoop2.7.tgz 后,解压到自己指定目录。

$ sudo mkdir /usr/local/spark
$ sudo tar -zxvf spark-2.2.1-bin-hadoop2.7.tgz -C /usr/local/spark

配置环境变量,打开 profile 文件

$ sudo gedit /etc/profile

在文件末尾写入,注意 SPARK_HOME 是 Spark 的安装路径:

export SPARK_HOME=/usr/local/spark/spark-2.2.1-bin-hadoop2.7
export PATH=${SPARK_HOME}/bin:$PATH

保存后退出,运行如下命令,使修改环境变量即可生效:

$ source /etc/profile

检测java是否成功安装

$ spark-shell

在 Ubuntu16.04 中搭建 Spark 单机开发环境 (JDK + Scala + Spark)的更多相关文章

  1. windows和linux中搭建python集成开发环境IDE——如何设置多个python环境

    本系列分为两篇: 1.[转]windows和linux中搭建python集成开发环境IDE 2.[转]linux和windows下安装python集成开发环境及其python包 3.windows和l ...

  2. 【转】windows和linux中搭建python集成开发环境IDE

    本系列分为两篇: 1.[转]windows和linux中搭建python集成开发环境IDE 2.[转]linux和windows下安装python集成开发环境及其python包 3.windows和l ...

  3. 如何在Eclipse中搭建MyBatis基本开发环境?(使用Eclipse创建Maven项目)

    实现要求: 在Eclipse中搭建MyBatis基本开发环境. 实现步骤: 1.使用Eclipse创建Maven项目.File >> New >> Maven Project ...

  4. Ubuntu16.04中搭建TFTP 和 NFS 服务器

    Ubuntu 16.04中搭建TFTP服务 1. 安装 $ apt-get install tftp-hpa tftpd-hpa   2. 建立目录 $ mkdir /tftpboot # 这是建立t ...

  5. 在Docker容器中搭建MXNet/Gluon开发环境

    在这篇文章中没有直接使用MXNet官方提供的docker image,而是从一个干净的nvidia/cuda镜像开始,一步一步部署mxnet需要的相关软件环境,这样做是为了更加细致的了解mxnet的运 ...

  6. ubuntu中搭建基本的开发环境

    1.搭建基本开发环境: sudo apt-get install build-essential 2.安装语法.词法分析器 sudo apt-get install bison flex 3.安装C函 ...

  7. Ubuntu16.04 部署配置GO语言开发环境 & 注意事项

    1. 安装GO 安装go语言包: $ curl -O https://storage.googleapis.com/golang/go1.10.1.linux-amd64.tar.gz   下载完成后 ...

  8. Ubuntu 18.04 LTS搭建GO语言开发环境

    一.下载Go语言安装包 官网下载地址:https://golang.org/dl/,使用tar命令将档案包解压到/usr/local目录中: sudo tar -C /usr/local -xzf g ...

  9. Ubuntu18.04中配置QT5.11开发环境

    准备工作 参考 https://wiki.qt.io/Install_Qt_5_on_Ubuntu . # 安装g++ sudo apt install build-essential # sudo ...

随机推荐

  1. BZOJ4269:再见Xor(线性基)

    Description 给定N个数,你可以在这些数中任意选一些数出来,每个数可以选任意多次,试求出你能选出的数的异或和的最大值和严格次大值. Input 第一行一个正整数N. 接下来一行N个非负整数. ...

  2. 【转】1.2 CDN的基本工作过程

    1.2  CDN的基本工作过程 使用CDN会极大地简化网站的系统维护工作量,网站维护人员只需将网站内容注入CDN的系统,通过CDN部署在各个物理位置的服务器进行全网分发,就可以实现跨运营商.跨地域的用 ...

  3. 环境搭建(Python)

    Python 开发环境搭建 Windows篇   一. Python安装 资源获取 登录Python官网的Windows下载页面https://www.python.org/downloads/win ...

  4. ssh推送.py程序到服务器端运行

    C:\Users\jiangshan>ssh jiangshan@192.168.1.191jiangshan@192.168.1.191's password:Last login: Sun ...

  5. NRF51822/NRF51802/NRF52810/NRF52811的详解区别

    nRF51系列 - 多协议低功耗蓝牙和ANT/ANT+ 和2.4GHz专用系统级芯片 NRF51822-QFAA和NRF51802-QFAA在FLASH RAM的容量没有差别:区别在于:1.接收灵敏度 ...

  6. P2157 [SDOI2009]学校食堂Dining

    题目描述 小F 的学校在城市的一个偏僻角落,所有学生都只好在学校吃饭.学校有一个食堂,虽然简陋,但食堂大厨总能做出让同学们满意的菜肴.当然,不同的人口味也不一定相同,但每个人的口味都可以用一个非负整数 ...

  7. jQuery的extend和fn.extend理解

    参考网址:http://www.cnblogs.com/yuanyuan/archive/2011/02/23/1963287.html http://www.cnblogs.com/xuxiuyu/ ...

  8. php输出js到前端

    echo "<script language='javascript'>";echo "alert('invalid user...');";ech ...

  9. Eclipse-设置保存时自动给变量加final

    也是针对checkstyle的,在代码检查规范时,所有的变量必须是final.为了解决这个问题,通过以下的设置可以在eclipse保存时,自动给没有加final的变量加上final. Window-& ...

  10. ABC Tech Day(2018.08.11)

    时间:2018.07.24地点:北京中关村创业大街车库咖啡