搭建最新的 Spark 2.3.1 。

首先需要下载最新版 jdk 。目前 2.3.1 需要 8.0 及其以上 jdk 才可以允许。 所以如果你没有 8.0  jdk 安装好了之后会报错。不要尝试安装 8.0 之后的版本 我尝试了这个版本使用

jdk 10 会有问题,所以老老实实使用 jdk8.0

Exception in thread "main" java.lang.UnsupportedClassVersionError: org/apache/spark/launcher/Main : Unsupported major.minor version 52.0

去往 http://www.oracle.com/technetwork/java/javase/downloads/index.html 下载 jdk 8.

我们可以下载 rpm 包,然后使用 ubuntu 的 alien 命令安装,这个命令可以把 rpm 包转成 debian 包之后进行安装非常方便。使用命令

sudo alien -i -c -v jdkxxxxx.rpm 
进行安装

然后将其地址加入到用户的环境变量里面 bashrc zshrc xxxxx

export JAVA_HOME=/usr/java/jdk8.xxxx

这里注意一下,安装完了之后可能会有一些信息,有些是成功之后的提醒,有一些是警告可以看一下,我安装完毕之后没有出现什么问题。

下载最新版 spark

http://spark.apache.org/downloads.html

这里我下载了最新的 spark2.3.1 | Pre-built for Hadoop2.7 and later

解压

tar xvf sparkxxxx

然后使用命令

./bin/run-example SparkPi  测试是否安装成功

最后再去 spark-shell 看下是否能正常启动交互程序。

我之前尝试使用最新的 jdk10 ,在验证 pi 程序计算的时候是可以正常运行的,但是无法正常进入交互程序。装回 jdk8 就正常了所以 jdk 的版本要注意。

Reference:

https://help.ubuntu.com/community/RPM/AlienHowto  Alien 用法

http://www.oracle.com/technetwork/java/javase/downloads/index.html  JDK 列表

http://spark.apache.org/downloads.html  Spark 官方下载源

在 Ubuntu14.04 上搭建 Spark 2.3.1(latest version)的更多相关文章

  1. 在ubuntu14.04上搭建OpenVPN服务

    简介 在连接了不可信的网络环境后,让手机或者计算机安全的访问互联网,使用虚拟专用网络(Virtual Private Network,VPN)是一个解决办法.OpenVPN是一个SSL VPN完整解决 ...

  2. 在Ubuntu14.04上搭建自己的OpenVPN服务器并通过它上网

    背景 学校宿舍端口可以配置静态IP连校内网,也可以连到实验室的服务器:实验室的服务器可以连外网:但宿舍要连外网就要花钱买PPPoE账号了.作为壮哉我大计院的一员,本着发扬专(neng)业(sheng) ...

  3. ubuntu14.04上搭建android开发环境

    这几天心血来潮,想在ubuntu上写写android软件.所以就上网找些资料在ubuntu上搭建android环境.结果要么时不完整的,要么就是过时的. 所以我把我搭建android环境的过程写下了, ...

  4. Ubuntu14.04上搭建FTP服务器

    Ubuntu上常用的Ftp服务器是vsFTPd.安装前检查下是否已经装好了.用 sudo service vsftpd restart,如果提示重启成功之类的信息,说明此服务器已经安装好了vsFTPd ...

  5. 【转】Linux(ubuntu14.04)上编译Android4.4源码的环境搭建及编译全过程

    原文网址:http://jileniao.net/linux-android-building.html sublime text让我伤心.本来很信任sublime text的自动保存功能,之前使用一 ...

  6. ubuntu14.04上实现faster rcnn_TF的demo程序及训练过程

    安装环境:Ubuntu14.04.显卡Tesla K40C+GeForce GT 705.tensorflow1.0.0.pycharm5.0 说明:原文见博客园,有问题原文下留言,不定期回复.本文作 ...

  7. 沉淀,再出发——在Hadoop集群的基础上搭建Spark

    在Hadoop集群的基础上搭建Spark 一.环境准备 在搭建Spark环境之前必须搭建Hadoop平台,尽管以前的一些博客上说在单机的环境下使用本地FS不用搭建Hadoop集群,可是在新版spark ...

  8. ubuntu14.04下搭建python+mysql环境

    简略记录ubuntu14.04下搭建python操作的mysql服务器的过程和其中遇到的问题及解决方法. 第一部分: 安装mysql 安装步骤:1. sudo apt-get install mysq ...

  9. [译]How to Install Node.js on Ubuntu 14.04 如何在ubuntu14.04上安装node.js

    原文链接为 http://www.hostingadvice.com/how-to/install-nodejs-ubuntu-14-04/ 由作者Jacob Nicholson 发表于October ...

随机推荐

  1. 【转】实践HTTP206状态:部分内容和范围请求

    原文:http://www.cyberciti.biz/cloud-computing/http-status-code-206-commad-line-test/ HTTP 2xx范围内的状态码表明 ...

  2. centos 6.9修改系统默认字符集

    [root@ckh ~]# locale –a #列出系统所支持的所有字符集 aa_DJ aa_DJ.iso88591 aa_DJ.utf8 aa_ER aa_ER@saaho aa_ER.utf8 ...

  3. 002_cookie的session_id解释

    HTTP协议(http://www.w3.org/Protocols/)是“一次性单向”协议. 服务端不能主动连接客户端,只能被动等待并答复客户端请求.客户端连接服务端,发出一个HTTP Reques ...

  4. 【消息队列】 RabbitMQ教程汇总

    https://www.cnblogs.com/wyt007/category/1218660.html

  5. python之xml 文件的读取方法

    ''' xml 文件的读取方法 ''' #!/usr/bin/env python # -*- coding: utf- -*- import xml.etree.ElementTree as ET ...

  6. X--名称空间详解

    转自:http://blog.csdn.net/lisenyang/article/details/18312039 X名称空间里面的成员(如X:Name,X:Class)都是写给XAML编译器看的. ...

  7. redis学习(一)——redis介绍及安装

    一.redis简介 redis是一个高性能的key-value非关系数据库,它可以存键(key)与5种不同类型的值(value)之间的映射(mapping),支持存储的value类型包括:String ...

  8. java 在实例化异常的时候做的事情

    new Exception 这段代码,会调用父类ThrowAble的构建方法,在构造方法中会调用fillInstackTrace这个native方法. 会把当前线程异常发生的信息,上下文记录在栈调用指 ...

  9. BZOJ3309 DZY Loves Maths 莫比乌斯反演、线性筛

    传送门 推式子(默认\(N \leq M\)): \(\begin{align*} \sum\limits_{i=1}^N \sum\limits_{j=1}^Mf(gcd(i,j)) & = ...

  10. 【原创】一个线程oom,进程里其他线程还能运行吗?

    引言 这题是一个网友@大脸猫爱吃鱼给我的提问,出自今年校招美团三面的一个真题.大致如下 一个进程有3个线程,如果一个线程抛出oom,其他两个线程还能运行么? 先说一下答案,答案是还能运行 不瞒大家说, ...