以下内容参考:http://blog.csdn.net/lovehuangjiaju/article/details/48494737

1.解压安装文件,设置环境变量
这里我们使用的安装文件是已经编译好的spark,需要搭配hadoop-2.6.0使用。下载链接是:http://pan.baidu.com/s/1gdnW5mr
解压安装文件至/cloud目录
设置spark的环境变量:
export SPARK_HOME=/cloud/spark-1.5.1
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
2.设置相关配置文件
(1)spark-env.sh
cd /cloud/spark-1.5.1/conf
cp spark-env.sh.template spark-env.sh
vi spark-env.sh
在该文件中加入以下start-master.sh内容:
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk.x86_64
export SCALA_HOME=/cloud/scala-2.10.6
export HADOOP_CONF_DIR=/cloud/hadoop-2.6.0/etc/hadoop
(2)slaves
cp slaves.template slaves
slaves文件指明worker在哪些主机上运行
在该文件中添加以下内容
master
slave1
slave2
即worker将在master,slave1,slave2上运行。
(3)因为storm web-ui已经占用了8080端口,需要更改spark端口,这里我们更改为8888
cd ../sbin
vi start-master.sh
修改后的端口号如下:
if [ "$SPARK_MASTER_WEBUI_PORT" = "" ]; then
  SPARK_MASTER_WEBUI_PORT=8888
fi
3.分发安装文件
cd /cloud
scp -r spark-1.5.1/ root@slave1:/cloud
scp -r spark-1.5.1/ root@slave2:/cloud
4.启动spark集群(注意要先启动hadoop集群)
cd /cloud/spark-1.5.1/sbin
./start-all.sh
master 进程情况:
slave1和slave2进程情况:
5.测试集群工作是否正常
(1)访问spark master web_ui
(2)运行spark版WordCount
①首先将spark的介绍文件提交到hdfs
cd /cloud/spark-1.5.1
hdfs dfs -put README.md
②启动spark-shell
cd bin
./spark-shell
②统计hdfs中README.md文件中文本行中包含单词Spark的数目
val textCount = sc.textFile("README.md").filter(line => line.contains("Spark")).count()
可见,spark已经安装成功,运行无误。

在centos 6.5 x64中安装 spark-1.5.1的更多相关文章

  1. CentOS 6.X x64 编译安装 Countly

    CentOS 6.X  x64 编译安装Countly 安装所需的软件 yum -y install supervisor ImageMagick sendmail 1. 安装 node.js wge ...

  2. CentOS 6.x 系统中安装原生 Hadoop 2

    2020年整理博客发现原文地址已经失效,推荐学习地址厦门大学数据库实验室 本教程适合于在 CentOS 6.x 系统中安装原生 Hadoop 2,适用于Hadoop 2.7.1, Hadoop 2.6 ...

  3. Centos 6.5 x64环境下 spark 1.6 maven 编译-- 已验证

    Centos 6.5 x64 jdk 1.7 scala 2.10 maven 3.3.3 cd spark-1.6 export MAVEN_OPTS="-Xmx2g -XX:MaxPer ...

  4. centos 7 mini版中安装Python3.x

    首先了解几句Linux命令是必须的.例如 ls, vi, wget, rm, mv, cd, su, sudo, chmod, tar等等一些常用的语句命令是有必要知道它的用法的. 安装Python3 ...

  5. CentOS 6.5 x64下安装宝塔面板、阿里安骑士

    一.安装宝塔: CentOS下命令(https://www.bt.cn/bbs/thread-1186-1-1.html) yum install -y wget && wget -O ...

  6. CentOS 6.5系统中安装配置MySQL数据库

    就像Windows server 2003,2008中一般安装的是Sql Server 数据库,在linux系统中一般安装的是mysql数据库,而且Mysql数据库的第一个版本就是发行在Linux系统 ...

  7. 【转】CentOS 6.3 X64自动安装OpenERP 7.0脚本

    原文地址:OpenERP 7.0安装与配置 #!/bin/bash -e # Modified script from Carlos E. Fonseca Zorrilla # . Add the t ...

  8. CentOS 6.5 x64下安装VMware tools

    [root@CentOS6 /]# mount /dev/cdrom /mnt mount: block device /dev/sr0 is write-protected, mounting re ...

  9. 在centos 6.9 x64下安装code::blocks步骤

    1.yum groupinstall "Development tools" 2.yum install gtk2* 3.安装wxWidgets 下载地址:https://www. ...

随机推荐

  1. Tomcat的class加载的优先顺序

    Tomcat的class加载的优先顺序一览 1.最先是$JAVA_HOME/jre/lib/ext/下的jar文件. 2.环境变量CLASSPATH中的jar和class文件. 3.$CATALINA ...

  2. CF 313 DIV2 B 树状数组

    http://codeforces.com/contest/313/problem/B 题目大意 给一个区间,问你这个区间里面有几个连续相同的字符. 思路: 表示个人用树状数组来写的...了解了树状数 ...

  3. [JNI] Java 调用 C++ dll

    首先介绍一下JNI吧! JNI 是Java提供的一个用于调用本地接口的接口层,位于Java代码 和 本地代码之间的一层:主要功能是 数据类型的转换,还有就是通过这一层来调用本地代码! 下面就说说Jav ...

  4. form 表单 enctype 属性-(转自w3c)

    <from action="xxx.xxx" enctype="multipart/form-data"></from> 在上传文件时必 ...

  5. windows 杀进程软件

    pchunter 电脑禁用u盘可用金山卫士开启.注册表

  6. Spring+Struts集成(第二种方案)

    在上一篇文章中我们了解到了第一种Spring跟Struts集成的方案,但此集成方案的不足是WEB层中知道Spring的相关内容,因为需要去主动的查找对象:BeanFactory.方案二便是通过依赖注入 ...

  7. 阶乘相关<同余与模算术>

    题意: 题目很简明: 令S[n]=1*1!+2*2!+3*3!+4*4!+....+n*n! 求S[n]%10000007 多组测试数据 每组一个n n的范围:1<=n<=1000000 ...

  8. 对于crontab定时任务不能自动执行的总结

    最近遇到了一些sh不能在crontab定时任务中自动执行的问题 期间由于不太了解,故走了一点弯路,现在总结下来可能第一次 进行设置遇到的问题.以绝后患!我所用过的操作系统为HP-unix&li ...

  9. [iOS]C语言技术视频-15-指针变量高级用法练习一(函数指针完成动态排序)

    下载地址: 链接: http://pan.baidu.com/s/1o6MOzX4 密码: xzxn

  10. JS——基础知识(二)

    1.变量提升问题 <script> var num=10; fun(); function fun(){ console.log(num); var num=20; } </scri ...