版本号：

RedHat6.5 RHEL 6.5系统安装配置图解教程(rhel-server-6.5)

JDK1.8 http://blog.csdn.net/chongxin1/article/details/68957808

Hadoop2.7.3 RedHat6.5上安装Hadoop单机

scala-2.11.8

spark-2.1.1-bin-hadoop2.7

1 安装Spark依赖的Scala

Hadoop的安装请参考上面提到的博文，因为Spark依赖scala，所以在安装Spark之前，这里要先安装scala。

1.1 下载和解压缩Scala

官网下载地址：https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz

百度云盘下载地址：链接：http://pan.baidu.com/s/1eSiVjO2 密码：y8b1

linux在服务器的/usr/local目录下新建一个名为scala的文件夹，并将下载的压缩包上载上去

如图：

执行命令，进入到该目录：

cd /usr/local/scala

执行命令进行解压缩：

tar -xvf scala-2.11.8.tgz

1.2 配置环境变量

sudo gedit /et/profile

编辑/etc/profile这个文件，在文件中增加一行配置：

#set Scala environment
export SCALA_HOME=/usr/local/scala/scala-2.11.8
export PATH=$SCALA_HOME/bin:$PATH

添加完成后，我的/etc/profile的配置如下：

#set Java environment
export JAVA_HOME=/usr/local/java/jdk1.8
export JRE_HOME=/usr/local/java/jdk1.8/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$JAVA_HOME:$PATH
#set Hadoop enviroment
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.3
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
#set Scala environment
export SCALA_HOME=/usr/local/scala/scala-2.11.8
export PATH=$SCALA_HOME/bin:$PATH

环境变量配置完成后，执行下面的命令：

source /etc/profile

1.3 验证Scala

执行命令： scala -version

如图：

2 下载和解压缩Spark

2.1 下载Spark压缩包

官网下载地址：http://mirrors.hust.edu.cn/apache/spark/spark-2.1.1/spark-2.1.1-bin-hadoop2.7.tgz

百度云盘下载地址：链接：http://pan.baidu.com/s/1cGTtgU 密码：hciq

2.2 解压缩Spark

下载完成后，在Linux服务器的/usr/local目录下新建一个名为spark的文件夹，把刚才下载的压缩包，上传上去。

如图：

进入到该目录内，也就是执行下面的命令：

cd /usr/local/spark

执行解压缩命令：

tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz

3 Spark相关的配置

3.1 配置环境变量

sudo gedit /etc/profile

编辑/etc/profile文件，增加

#set Spark environment
export SPARK_HOME=/usr/local/spark/spark-2.1.1-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$PATH

注意：因为$SPARK_HOME/sbin目录下有一些文件名称和$HADOOP_HOME/sbin目录下的文件同名，为了避免同名文件冲突，这里不在PATH变量里添加$SPARK_HOME/sbin只添加了$SPARK_HOME/bin。

修改完成后，/etc/profile文件内容是：

#set Java environment
export JAVA_HOME=/usr/local/java/jdk1.8
export JRE_HOME=/usr/local/java/jdk1.8/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$JAVA_HOME:$PATH
#set Hadoop enviroment
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.3
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
#set Scala environment
export SCALA_HOME=/usr/local/scala/scala-2.11.8
export PATH=$SCALA_HOME/bin:$PATH
#set Spark environment
export SPARK_HOME=/usr/local/spark/spark-2.1.1-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$PATH

编辑完成后，执行命令：

source /etc/profile

3.2 配置conf目录下的文件

对/usr/local/spark/spark-2.1.1-bin-hadoop2.7/conf目录下的文件进行配置。

3.2.1 新建spark-env.h文件

执行命令，进入到/usr/local/spark/spark-2.1.1-bin-hadoop2.7/conf目录内：

cd /usr/local/spark/spark-2.1.1-bin-hadoop2.7/conf

以spark为我们创建好的模板创建一个spark-env.h文件，命令是：

cp spark-env.sh.template spark-env.sh

编辑spark-env.sh文件，在里面加入配置(具体路径以自己的为准)：

export JAVA_HOME=/usr/local/java/jdk1.8
export SCALA_HOME=/usr/local/scala/scala-2.11.8
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.3
export HADOOP_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_HOME=/usr/local/spark/spark-2.1.1-bin-hadoop2.7
export SPARK_MASTER_IP=master
export SPARK_EXECUTOR_MEMORY=1g

4 启动和测试Spark

4.1 启动Spark

因为spark是依赖于hadoop提供的分布式文件系统的，所以在启动spark之前，先确保hadoop在正常运行。

在hadoop正常运行的情况下，在master（也就是hadoop的namenode，spark的marster节点）上执行命令：

cd /usr/local/spark/spark-2.1.1-bin-hadoop2.7/sbin

执行启动脚本：

./start-all.sh

完整控制台输出内容是：

[root@master sbin]# ./start-all.sh
starting org.apache.spark.deploy.master.Master, logging to /usr/local/spark/spark-2.1.1-bin-hadoop2.7/logs/spark-root-org.apache.spark.deploy.master.Master-1-master.out
localhost: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/spark/spark-2.1.1-bin-hadoop2.7/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-master.out
[root@master sbin]# jps
5872 Jps
4849 SecondaryNameNode
5714 Master
5810 Worker
4676 DataNode
5126 NodeManager
5015 ResourceManager
4542 NameNode

5714 Master
5810 Worker

有这两个就是spark已经启动成功！！！

注意：上面的命令中有./这个不能少，./的意思是执行当前目录下的start-all.sh脚本。

4.2 测试和使用Spark集群

4.2.1 访问Spark集群提供的URL

在浏览器里访问Mster机器，我的Spark集群里Master机器是master，IP地址是192.168.168.200，访问8080端口，URL是：

http://192.168.168.200:8080

如图：

参考资料：http://blog.csdn.net/pucao_cug/article/details/72353701

RedHat6.5安装Spark单机的更多相关文章

RedHat6.5安装kafka单机
版本号: Redhat6.5 JDK1.8 zookeeper-3.4.6 kafka_2.11-0.8.2.1 1.软件环境已经搭建好的zookeeper: RedHat6.5 ...
RedHat6.5安装Spark集群
版本号: RedHat6.5 RHEL 6.5系统安装配置图解教程(rhel-server-6.5) JDK1.8 http://blog.csdn.net/chongxin1/arti ...
RedHat6.5安装zookeeper单机
版本号: Redhat6.5 zookeeper-3.4.6 JDK1.8 zookeeper下载官网下载地址:https://mirrors.tuna.tsinghua.edu.cn/apac ...
安装spark单机环境
(假定已经装好的hadoop,不管你装没装好,反正我是装好了) 1 下载spark安装包 http://spark.apache.org/downloads.html 下载spark-1.6.1-bi ...
一、spark单机安装
如果要全面的使用spark,你可能要安装如JDK,scala,hadoop等好些东西.可有时候我们只是为了简单地安装和测试来感受一下spark的使用,并不需要那么全面.对于这样的需要,我们其实只要安装 ...
Windows下单机安装Spark开发环境
机器:windows 10 64位. 因Spark支持java.python等语言,所以尝试安装了两种语言环境下的spark开发环境. 1.Java下Spark开发环境搭建 1.1.jdk安装安装o ...
RedHat6.5上安装Hadoop单机
版本号:RedHat6.5 JDK1.8 Hadoop2.7.3 hadoop 说明:从版本2开始加入了Yarn这个资源管理器,Yarn并不需要单独安装.只要在机器上安装了JDK就可以直接安 ...
安装spark ha集群
安装spark ha集群 1.默认安装好hadoop+zookeeper 2.安装scala 1.解压安装包 tar zxvf scala-2.11.7.tgz 2.配置环境变量 vim /etc/p ...
windows7 spark单机环境搭建及pycharm访问spark
windows7 spark单机环境搭建 follow this link how to run apache spark on windows7 pycharm 访问本机 spark 安装py4j ...

随机推荐

JAVA_全局配置文件(配置网址,url等等)_第一种方式
一.概述当使用httpClient调其他系统接口时,需要通过地址来发送post请求. 这时我们有不同的环境,那么就有两个问题. 1是地址不能写在代码中,而是要写在配置文件. 2是不同环境配置文件应该 ...
【git学习笔记】
一.查看git的配置文件 1.在项目下,有一个.git的隐藏文件 2.config为git的配置文件 3.查看config :branch表示分支,此配置文件表示当前有两个分支NNU和master,一 ...
LazyMan的实现
题目如下: 实现一个LazyMan,可以按照以下方式调用: LazyMan(“Hank”)输出: Hi! This is Hank! LazyMan(“Hank”).sleep(10).eat(“di ...
计数SQL，查找单据总量和按季度查找单据总量
--查找单据总量 select COUNT(1) as '表XXXXXX数据量' from XXXXXXwith(nolock) --按季度查找单据总量 select count(1) as '表XX ...
[转]PLA算法总结及其证明
PLA算法总结及其证明 http://m.blog.csdn.net/article/details?id=45232891 分类: 机器学习 PLA(Perception Learning Algo ...
20165228 学习基础和C语言基础调查
========== 做中学读后感我依然认为兴趣与自觉性是推动一个人进步的两大因素,他们之间的区别是"兴趣"带来的影响更多是主动性的学习,而"自觉"则是略显被 ...
mxnet 动手学深度学习
http://zh.gluon.ai/chapter_crashcourse/introduction.html 强化学习(Reinforcement Learning) 如果你真的有兴趣用机器学习开 ...
::before和::after伪元素
伪元素的意思就是,元素不是在DOM中生成的,而是在浏览器渲染CSS的时候画上去的,所以在浏览器查看元素上是看不到伪元素的HTML结构的. before 和 after 顾名思义就是附着在元素前后的伪元 ...
Python语言规范
Lint 对你的代码运行pylint 定义: pylint是一个在Python源代码中查找bug的工具. 对于C和C++这样的不那么动态的(译者注: 原文是less dynamic)语言, 这些bug ...
python------模块定义、导入、优化 ------->random模块
2.random模块 #随机浮点数 random.random() #生成0到1之间的随机浮点数,不能自己指定 random.uniform(1,10) #可以指定 #随机整数 random. ...

RedHat6.5安装Spark单机