版本号：

RedHat6.5   RHEL 6.5系统安装配置图解教程(rhel-server-6.5)

JDK1.8      http://blog.csdn.net/chongxin1/article/details/68957808

Hadoop2.7.3    RedHat6.5上安装Hadoop单机

scala-2.11.8

spark-2.1.1-bin-hadoop2.7

1 安装Spark依赖的Scala

Hadoop的安装请参考上面提到的博文，因为Spark依赖scala，所以在安装Spark之前，这里要先安装scala。

1.1  下载和解压缩Scala

官网下载地址：https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz

百度云盘下载地址：链接：http://pan.baidu.com/s/1eSiVjO2 密码：y8b1

linux在服务器的/usr/local目录下新建一个名为scala的文件夹，并将下载的压缩包上载上去

如图：

执行命令，进入到该目录：

cd    /usr/local/scala

执行命令进行解压缩：

tar   -xvf   scala-2.11.8.tgz

1.2  配置环境变量

sudo gedit /et/profile

编辑/etc/profile这个文件，在文件中增加一行配置：



  1. #set Scala environment
    2. 

  2. export SCALA_HOME=/usr/local/scala/scala-2.11.8
    3. 

  3. export PATH=$SCALA_HOME/bin:$PATH


添加完成后，我的/etc/profile的配置如下：




  1. #set Java environment
    2. 

  2. export JAVA_HOME=/usr/local/java/jdk1.8
    3. 

  3. export JRE_HOME=/usr/local/java/jdk1.8/jre
    4. 

  4. export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
    5. 

  5. export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$JAVA_HOME:$PATH
    6. 

  6. #set Hadoop enviroment
    7. 

  7. export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.3
    8. 

  8. export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
    9. 

  9. export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
    10. 

  10. export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop​
    11. 

  11. #set Scala environment
    12. 

  12. export SCALA_HOME=/usr/local/scala/scala-2.11.8
    13. 

  13. export PATH=$SCALA_HOME/bin:$PATH


环境变量配置完成后，执行下面的命令：


source   /etc/profile


1.3 验证Scala


执行命令： scala     -version


如图：




2 下载和解压缩Spark


2.1 下载Spark压缩包


官网下载地址：http://mirrors.hust.edu.cn/apache/spark/spark-2.1.1/spark-2.1.1-bin-hadoop2.7.tgz


百度云盘下载地址：链接：http://pan.baidu.com/s/1cGTtgU 密码：hciq


2.2  解压缩Spark


下载完成后，在Linux服务器的/usr/local目录下新建一个名为spark的文件夹，把刚才下载的压缩包，上传上去。


如图：




进入到该目录内，也就是执行下面的命令：


cd    /usr/local/spark


执行解压缩命令：


tar   -zxvf   spark-2.1.1-bin-hadoop2.7.tgz


3  Spark相关的配置


3.1  配置环境变量


sudo gedit /etc/profile


编辑/etc/profile文件，增加




  1. #set Spark environment
    2. 

  2. export SPARK_HOME=/usr/local/spark/spark-2.1.1-bin-hadoop2.7
    3. 

  3. export PATH=$SPARK_HOME/bin:$PATH


注意：因为$SPARK_HOME/sbin目录下有一些文件名称和$HADOOP_HOME/sbin目录下的文件同名，为了避免同名文件冲突，这里不在PATH变量里添加$SPARK_HOME/sbin只添加了$SPARK_HOME/bin。


修改完成后，/etc/profile文件内容是：




  1. #set Java environment
    2. 

  2. export JAVA_HOME=/usr/local/java/jdk1.8
    3. 

  3. export JRE_HOME=/usr/local/java/jdk1.8/jre
    4. 

  4. export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
    5. 

  5. export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$JAVA_HOME:$PATH
    6. 

  6. #set Hadoop enviroment
    7. 

  7. export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.3
    8. 

  8. export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
    9. 

  9. export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
    10. 

  10. export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop​
    11. 

  11. #set Scala environment
    12. 

  12. export SCALA_HOME=/usr/local/scala/scala-2.11.8
    13. 

  13. export PATH=$SCALA_HOME/bin:$PATH
    14. 

  14. #set Spark environment
    15. 

  15. export SPARK_HOME=/usr/local/spark/spark-2.1.1-bin-hadoop2.7
    16. 

  16. export PATH=$SPARK_HOME/bin:$PATH


编辑完成后，执行命令：


source   /etc/profile


3.2 配置conf目录下的文件


对/usr/local/spark/spark-2.1.1-bin-hadoop2.7/conf目录下的文件进行配置。


3.2.1  新建spark-env.h文件


执行命令，进入到/usr/local/spark/spark-2.1.1-bin-hadoop2.7/conf目录内：


cd    /usr/local/spark/spark-2.1.1-bin-hadoop2.7/conf


以spark为我们创建好的模板创建一个spark-env.h文件，命令是：


cp    spark-env.sh.template   spark-env.sh


编辑spark-env.sh文件，在里面加入配置(具体路径以自己的为准)：




  1. export JAVA_HOME=/usr/local/java/jdk1.8
    2. 

  2. export SCALA_HOME=/usr/local/scala/scala-2.11.8
    3. 

  3. export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.3
    4. 

  4. export HADOOP_DIR=$HADOOP_HOME/etc/hadoop
    5. 

  5. export SPARK_HOME=/usr/local/spark/spark-2.1.1-bin-hadoop2.7
    6. 

  6. export SPARK_MASTER_IP=master
    7. 

  7. export SPARK_EXECUTOR_MEMORY=1g




4 启动和测试Spark


4.1 启动Spark


因为spark是依赖于hadoop提供的分布式文件系统的，所以在启动spark之前，先确保hadoop在正常运行。


在hadoop正常运行的情况下，在master（也就是hadoop的namenode，spark的marster节点）上执行命令：


cd  /usr/local/spark/spark-2.1.1-bin-hadoop2.7/sbin


执行启动脚本：


./start-all.sh


完整控制台输出内容是：




  1. [root@master sbin]#   ./start-all.sh
    2. 

  2. starting org.apache.spark.deploy.master.Master, logging to /usr/local/spark/spark-2.1.1-bin-hadoop2.7/logs/spark-root-org.apache.spark.deploy.master.Master-1-master.out
    3. 

  3. localhost: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/spark/spark-2.1.1-bin-hadoop2.7/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-master.out
    4. 

  4. [root@master sbin]# jps
    5. 

  5. 5872 Jps
    6. 

  6. 4849 SecondaryNameNode
    7. 

  7. 5714 Master
    8. 

  8. 5810 Worker
    9. 

  9. 4676 DataNode
    10. 

  10. 5126 NodeManager
    11. 

  11. 5015 ResourceManager
    12. 

  12. 4542 NameNode


5714 Master

5810 Worker


有这两个就是spark已经启动成功！！！


注意：上面的命令中有./这个不能少，./的意思是执行当前目录下的start-all.sh脚本。


4.2  测试和使用Spark集群


4.2.1  访问Spark集群提供的URL


在浏览器里访问Mster机器，我的Spark集群里Master机器是master，IP地址是192.168.168.200，访问8080端口，URL是：


http://192.168.168.200:8080


如图： 


参考资料：http://blog.csdn.net/pucao_cug/article/details/72353701
												


											
RedHat6.5安装Spark单机的更多相关文章
	

    
								
  1. RedHat6.5安装kafka单机
		
    版本号: Redhat6.5    JDK1.8     zookeeper-3.4.6   kafka_2.11-0.8.2.1 1.软件环境 已经搭建好的zookeeper:  RedHat6.5 ...
    
		
    2. 
						
  2. RedHat6.5安装Spark集群
		
    版本号: RedHat6.5   RHEL 6.5系统安装配置图解教程(rhel-server-6.5) JDK1.8      http://blog.csdn.net/chongxin1/arti ...
    
		
    3. 
						
  3. RedHat6.5安装zookeeper单机
		
    版本号: Redhat6.5  zookeeper-3.4.6  JDK1.8 zookeeper下载 官网下载地址:https://mirrors.tuna.tsinghua.edu.cn/apac ...
    
		
    4. 
						
  4. 安装spark单机环境
		
    (假定已经装好的hadoop,不管你装没装好,反正我是装好了) 1 下载spark安装包 http://spark.apache.org/downloads.html 下载spark-1.6.1-bi ...
    
		
    5. 
						
  5. 一、spark单机安装
		
    如果要全面的使用spark,你可能要安装如JDK,scala,hadoop等好些东西.可有时候我们只是为了简单地安装和测试来感受一下spark的使用,并不需要那么全面.对于这样的需要,我们其实只要安装 ...
    
		
    6. 
						
  6. Windows下单机安装Spark开发环境
		
    机器:windows 10 64位. 因Spark支持java.python等语言,所以尝试安装了两种语言环境下的spark开发环境. 1.Java下Spark开发环境搭建 1.1.jdk安装 安装o ...
    
		
    7. 
						
  7. RedHat6.5上安装Hadoop单机
		
    版本号:RedHat6.5   JDK1.8   Hadoop2.7.3 hadoop  说明:从版本2开始加入了Yarn这个资源管理器,Yarn并不需要单独安装.只要在机器上安装了JDK就可以直接安 ...
    
		
    8. 
						
  8. 安装spark ha集群
		
    安装spark ha集群 1.默认安装好hadoop+zookeeper 2.安装scala 1.解压安装包 tar zxvf scala-2.11.7.tgz 2.配置环境变量 vim /etc/p ...
    
		
    9. 
						
  9. windows7 spark单机环境搭建及pycharm访问spark
		
    windows7 spark单机环境搭建 follow this link how to run apache spark on windows7 pycharm 访问本机 spark 安装py4j  ...
    
		
    10. 
		

	


随机推荐
	

    
									
  1. 2018年3月最新的Ubuntu 16.04.4漏洞提权代码
			
    2018年3月最新的Ubuntu 16.04.4漏洞提权代码,本代码取自Vitaly Nikolenko的推子 亲测阿里云提权可用. /* * Ubuntu 16.04.4 kernel priv e ...
    
			
    2. 
						
  2. 转：C++ 类的静态成员详细讲解
			
    在C++中,静态成员是属于整个类的而不是某个对象,静态成员变量只存储一份供所有对象共用.所以在所有对象中都可以共享它.使用静态成员变量实现多个对象之间的数据共享不会破坏隐藏的原则,保证了安全性还可以节 ...
    
			
    3. 
						
  3. 【计算机视觉】欧拉角Pitch/Yaw/Roll
			
    Pitch: 俯仰角: Yaw: 偏航角或者航向角: Roll: 横摆角或者翻滚角: 这几个角度是这样定义的,至于坐标系不同,则对应不同的XYZ轴及其方向: 1. https://en.wikiped ...
    
			
    4. 
						
  4. urllib模块通过post请求获取数据
			
    功能: 输入你要查找的单词,会返回相对应的结果 import urllib.request import urllib.parse import json class youdaoSpider: de ...
    
			
    5. 
						
  5. 测试那些事儿—简述CPU的工作原理
			
    简单介绍CPU的工作原理 1.内部架构 CPU是由晶体管组成,其根本任务就是执行指令和数据处理,对计算机来说,就是由0和1组成的序列.CPU从逻辑上可分为3个模块,分别是控制单元,运算单元和存储单元. ...
    
			
    6. 
						
  6. PTA——猴子吃桃
			
    PTA 7-35 猴子吃桃问题 #include<stdio.h> int main() { ; scanf("%d",&n); ; i<n; i++)  ...
    
			
    7. 
						
  7. django 有关session内部函数做法
			
    session在set和调用时其实分别做了三步: def fileupload(request): request.session['k1'] = 'ppp' ''' .生成一个随机字符串 .set_ ...
    
			
    8. 
						
  8. import sys
			
    目录 sys模块的常见函数列表 1.sys.argv 2.sys.platform 3.sys.path 4.sys.exit(n) sys模块提供了一系列有关Python运行环境的变量和函数. 回到 ...
    
			
    9. 
						
  9. （22）bootstrap 初识 + Font Awesome(字体图标库)
			
    bootstrap作用就是简化布局 bootstrap是基于JQ的,所以内部代码使用的是jq语法 所以要使用bs,必须先倒入 1.head标签内倒入bs的css文件  <link rel=&qu ...
    
			
    10. 
						
  10. SELECT INTO 和 INSERT INTO SELECT 两种表复制语句详解（SQL数据库和Oracle数据库的区别）
			
    https://www.cnblogs.com/mq0036/p/4155136.html 我们经常会遇到需要表复制的情况,如将一个table1的数据的部分字段复制到table2中,或者将整个tabl ...
    
			
    11.