Docker 下安装 Spark

1. 安装Docker, 见上篇。

2. 安装ubuntu:    docker run --name dcSpark ubuntu

3. 运行 Bash:     docker exec -ti dcSpark /bin/bash

4. apt-get update

5. apt-get install software-properties-common

6. 添加PPA软件源：  add-apt-repository ppa:webupd8team/java

7. 然后更新系统,刷新软件源：  apt-get update

8. 安装 JDK:  apt-get install oracle-java8-installer

9. 查看 版本：  java -version

 ## Java
 sudo apt-get update
 sudo apt-get install default-jdk

 ## Scala
 sudo apt-get remove scala-library scala
 sudo wget http://scala-lang.org/files/archive/scala-2.12.1.deb
 sudo dpkg -i scala-2.12..deb
 sudo apt-get update
 sudo apt-get install scala

 ## SBT
 echo "deb https://dl.bintray.com/sbt/debian /" | sudo tee -a /etc/apt/sources.list.d/sbt.list
 sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 2EE0EA64E40A89B84B2DF73499E82A75642AC823
 sudo apt-get update
 sudo apt-get install sbt

下载Spark:

mkdir download

cd download

wget https://www.apache.org/dyn/closer.lua/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz

解压：

 sudo tar -zxf ~/下载/spark-1.6.-bin-without-hadoop.tgz -C /usr/local/
 cd /usr/local
 sudo mv ./spark-1.6.-bin-without-hadoop/ ./spark
 sudo chown -R hadoop:hadoop ./spark      

运行 Spark Shell,   到 Spark的目录下，执行

./bin/spark-shell

测试：（Scala)

 val textFile = sc.textFile("file:///usr/local/spark/README.md")

 textFile.count()  // RDD 中的 item 数量，对于文本文件，就是总行数
 // res0: Long = 95

 textFile.first() // RDD 中的第一个 item，对于文本文件，就是第一行内容
 // res1: String = # Apache Spark

参考： http://www.powerxing.com/spark-quick-start-guide/