版本号：

RedHat6.5 RHEL 6.5系统安装配置图解教程(rhel-server-6.5)

JDK1.8 http://blog.csdn.net/chongxin1/article/details/68957808

Hadoop2.7.3 RedHat6.5上安装Hadoop单机

scala-2.11.8

spark-2.1.1-bin-hadoop2.7

1 安装Spark依赖的Scala

Hadoop的安装请参考上面提到的博文，因为Spark依赖scala，所以在安装Spark之前，这里要先安装scala。

1.1 下载和解压缩Scala

官网下载地址：https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz

百度云盘下载地址：链接：http://pan.baidu.com/s/1eSiVjO2 密码：y8b1

linux在服务器的/usr/local目录下新建一个名为scala的文件夹，并将下载的压缩包上载上去

如图：

执行命令，进入到该目录：

cd /usr/local/scala

执行命令进行解压缩：

tar -xvf scala-2.11.8.tgz

1.2 配置环境变量

sudo gedit /et/profile

编辑/etc/profile这个文件，在文件中增加一行配置：

#set Scala environment
export SCALA_HOME=/usr/local/scala/scala-2.11.8
export PATH=$SCALA_HOME/bin:$PATH

添加完成后，我的/etc/profile的配置如下：

#set Java environment
export JAVA_HOME=/usr/local/java/jdk1.8
export JRE_HOME=/usr/local/java/jdk1.8/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$JAVA_HOME:$PATH
#set Hadoop enviroment
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.3
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
#set Scala environment
export SCALA_HOME=/usr/local/scala/scala-2.11.8
export PATH=$SCALA_HOME/bin:$PATH

环境变量配置完成后，执行下面的命令：

source /etc/profile

1.3 验证Scala

执行命令： scala -version

如图：

2 下载和解压缩Spark

2.1 下载Spark压缩包

官网下载地址：http://mirrors.hust.edu.cn/apache/spark/spark-2.1.1/spark-2.1.1-bin-hadoop2.7.tgz

百度云盘下载地址：链接：http://pan.baidu.com/s/1cGTtgU 密码：hciq

2.2 解压缩Spark

下载完成后，在Linux服务器的/usr/local目录下新建一个名为spark的文件夹，把刚才下载的压缩包，上传上去。

如图：

进入到该目录内，也就是执行下面的命令：

cd /usr/local/spark

执行解压缩命令：

tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz

3 Spark相关的配置

3.1 配置环境变量

sudo gedit /etc/profile

编辑/etc/profile文件，增加

#set Spark environment
export SPARK_HOME=/usr/local/spark/spark-2.1.1-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$PATH

注意：因为$SPARK_HOME/sbin目录下有一些文件名称和$HADOOP_HOME/sbin目录下的文件同名，为了避免同名文件冲突，这里不在PATH变量里添加$SPARK_HOME/sbin只添加了$SPARK_HOME/bin。

修改完成后，/etc/profile文件内容是：

#set Java environment
export JAVA_HOME=/usr/local/java/jdk1.8
export JRE_HOME=/usr/local/java/jdk1.8/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$JAVA_HOME:$PATH
#set Hadoop enviroment
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.3
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
#set Scala environment
export SCALA_HOME=/usr/local/scala/scala-2.11.8
export PATH=$SCALA_HOME/bin:$PATH
#set Spark environment
export SPARK_HOME=/usr/local/spark/spark-2.1.1-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$PATH

编辑完成后，执行命令：

source /etc/profile

3.2 配置conf目录下的文件

对/usr/local/spark/spark-2.1.1-bin-hadoop2.7/conf目录下的文件进行配置。

3.2.1 新建spark-env.h文件

执行命令，进入到/usr/local/spark/spark-2.1.1-bin-hadoop2.7/conf目录内：

cd /usr/local/spark/spark-2.1.1-bin-hadoop2.7/conf

以spark为我们创建好的模板创建一个spark-env.h文件，命令是：

cp spark-env.sh.template spark-env.sh

编辑spark-env.sh文件，在里面加入配置(具体路径以自己的为准)：

export JAVA_HOME=/usr/local/java/jdk1.8
export SCALA_HOME=/usr/local/scala/scala-2.11.8
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.3
export HADOOP_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_HOME=/usr/local/spark/spark-2.1.1-bin-hadoop2.7
export SPARK_MASTER_IP=master
export SPARK_EXECUTOR_MEMORY=1g

4 启动和测试Spark

4.1 启动Spark

因为spark是依赖于hadoop提供的分布式文件系统的，所以在启动spark之前，先确保hadoop在正常运行。

在hadoop正常运行的情况下，在master（也就是hadoop的namenode，spark的marster节点）上执行命令：

cd /usr/local/spark/spark-2.1.1-bin-hadoop2.7/sbin

执行启动脚本：

./start-all.sh

完整控制台输出内容是：

[root@master sbin]# ./start-all.sh
starting org.apache.spark.deploy.master.Master, logging to /usr/local/spark/spark-2.1.1-bin-hadoop2.7/logs/spark-root-org.apache.spark.deploy.master.Master-1-master.out
localhost: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/spark/spark-2.1.1-bin-hadoop2.7/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-master.out
[root@master sbin]# jps
5872 Jps
4849 SecondaryNameNode
5714 Master
5810 Worker
4676 DataNode
5126 NodeManager
5015 ResourceManager
4542 NameNode

5714 Master
5810 Worker

有这两个就是spark已经启动成功！！！

注意：上面的命令中有./这个不能少，./的意思是执行当前目录下的start-all.sh脚本。

4.2 测试和使用Spark集群

4.2.1 访问Spark集群提供的URL

在浏览器里访问Mster机器，我的Spark集群里Master机器是master，IP地址是192.168.168.200，访问8080端口，URL是：

http://192.168.168.200:8080

如图：

参考资料：http://blog.csdn.net/pucao_cug/article/details/72353701

RedHat6.5安装Spark单机的更多相关文章

RedHat6.5安装kafka单机
版本号: Redhat6.5 JDK1.8 zookeeper-3.4.6 kafka_2.11-0.8.2.1 1.软件环境已经搭建好的zookeeper: RedHat6.5 ...
RedHat6.5安装Spark集群
版本号: RedHat6.5 RHEL 6.5系统安装配置图解教程(rhel-server-6.5) JDK1.8 http://blog.csdn.net/chongxin1/arti ...
RedHat6.5安装zookeeper单机
版本号: Redhat6.5 zookeeper-3.4.6 JDK1.8 zookeeper下载官网下载地址:https://mirrors.tuna.tsinghua.edu.cn/apac ...
安装spark单机环境
(假定已经装好的hadoop,不管你装没装好,反正我是装好了) 1 下载spark安装包 http://spark.apache.org/downloads.html 下载spark-1.6.1-bi ...
一、spark单机安装
如果要全面的使用spark,你可能要安装如JDK,scala,hadoop等好些东西.可有时候我们只是为了简单地安装和测试来感受一下spark的使用,并不需要那么全面.对于这样的需要,我们其实只要安装 ...
Windows下单机安装Spark开发环境
机器:windows 10 64位. 因Spark支持java.python等语言,所以尝试安装了两种语言环境下的spark开发环境. 1.Java下Spark开发环境搭建 1.1.jdk安装安装o ...
RedHat6.5上安装Hadoop单机
版本号:RedHat6.5 JDK1.8 Hadoop2.7.3 hadoop 说明:从版本2开始加入了Yarn这个资源管理器,Yarn并不需要单独安装.只要在机器上安装了JDK就可以直接安 ...
安装spark ha集群
安装spark ha集群 1.默认安装好hadoop+zookeeper 2.安装scala 1.解压安装包 tar zxvf scala-2.11.7.tgz 2.配置环境变量 vim /etc/p ...
windows7 spark单机环境搭建及pycharm访问spark
windows7 spark单机环境搭建 follow this link how to run apache spark on windows7 pycharm 访问本机 spark 安装py4j ...

随机推荐

JAVA_工具类01_ResourceBundle
在java.util.ResourceBundle包下,是java提供的工具类 ResourceBundle只能读取properties文件中的内容,可以使用ResourceBundle的静态方法来创 ...
python文件读写小结
读文件打开一个文件用open()方法(open()返回一个文件对象,它是可迭代的): >>> f = open('test.txt', 'r') r表示是文本文件,rb是二进制文件 ...
angular上传获取图片的directive指令
在AngularJS中,操作DOM一般在指令中完成,那么指令是如何实现的呢?指令的作用是把我们自定义的语义化标签替换成浏览器能够认识的HTML标签一般的事件监听是在对静态的dom绑定事件,而如果在指 ...
C和C++内存模型
以下内容,大部分整理自网络 C分为四个区:堆,栈,静态全局变量区,常量区 C++内存分为5个区域(堆栈全常代 ): 堆 heap : 由new分配的内存块,其释放编译器不去管,由我们程序自己控制(一个 ...
电脑快捷键与JAVA关键字、运算符
电脑快捷键: Alt+ESC切换到上一个操作的窗口 Alt+F4关闭当前窗口 Print Screen截取当前全屏幕到剪切板 Alt+Print Screen截取当前窗口到剪切板 Alt+Shift在 ...
verilog实现rgb2gray
前言项目算法需求,需要将RGB彩色图像转换为灰度图像,算法原理是很简单的,但是对于刚接触FPGA的宝宝来说,进行时序的设计和调试还是不那么容易的,为了省事儿,就按照上一篇中值滤波(http://ww ...
Mariadb使用xtrabackup工具备份数据脚本
#!/bin/bash#这个脚本用来备份SQL文件: sql_home="/home/mysql"sql_bak_log="$sql_home/xtrabackup.lo ...
flask的安装
1.查看已安装的Flask版本在 python 的交互模式中 : 1. import flask 没报错:已经安装了Flask,可以继续查看版本报错:没安装Flask 2. flask.__ver ...
Gym 101655：2013Pacific Northwest Regional Contest（寒假自训第13场）
A .Assignments 题意:给定距离D,以及N个飞机的速度Vi,单位时间耗油量Fi,总油量Ci.问有多少飞机可以到达目的地. 思路:即问多少飞机满足(Ci/Fi)*Vi>=D ---- ...
PS不显示图片
最近安装Adobe AIR的时候因为安装不了,删除了相关的配置文件,安装了Adobe AIR之后,用PS打开图片的时候发现不显示图片了,如图: 最后通过万能的百度了解到了是笔记本都采用了双显卡(i3. ...

RedHat6.5安装Spark单机