由于越来越多的人开始使用spark计算框架了,而且spark计算框架也是可以运行在yarn的平台上,因此可以利用单个集群,运行多个计算框架。这是一些大公司都是这么干的。好了,下面讲一下spark1.3.1是如何安装到集群上去的。

  1、由于spark的计算框架依赖于scala,因此在安装spark之前,必须安装scala,于是通过网上下载scala-2.10.5.tgz软件包

    (1)解压

       tar -zxvf scala-2.10.5.tgz

    (2)配置环境变量

        SCALA_HOME=/home/grid/spark/scala-2.10.5

        path=$path:$SCALA_HOME\bin

    (3)测试安装是否成功

      scala -version

      或者通过scala shell命令行界面来验证:

      输入scala  进入:

      

      输入 8*8 ,可以计算出结果

      

  2、安装spark

  (1)首先从网 http://spark.apache.org/downloads.html 上下载spark-1.3.1-bin-hadoop2.4.tar

  (2)解压

      tar -zxvf spark-1.3.1-bin-hadoop2.4.tar

  (3)配置环境变量

    SPARK_HOME=/home/grid/spark/spark-1.3.1

    path=$path:$SPARK_HOME/bin

  (4)修改配置文件

    1)cd  spark-1.3.1\conf

    2)mv spark-env.sh.template spark-env.sh

    3)vi spark-env.sh

    添加以下内容:

      export SCALA_HOME=/home/grid/spark/scala-2.10.5
      export JAVA_HOME=/usr/java/jdk-1.7
      export SPARK_MASTER_IP=192.168.1.21
      export SPARK_WORKER_MEMORY=1024m 
      export master=spark://192.168.1.21:7070

    4)修改slaves文件

      mv slaves.template  slaves

      vi slaves

      添加一下内容:

        hadoop2

        hadoop3

        hadoop4

  (5)启动spark

    pwd
    /home/grid/spark/spark-1.3.1/sbin
    执行 ./start-all.sh 命令。
    注意,hadoop也有start-all.sh脚本,因此必须进入具体目录执行脚本,启动界面如下:

    

    对应的关闭spark也是在sbin目录下,执行

      ./stop-all.sh 即可。

  (6)验证

    1)在master节点上执行jps

      30859 Jps
      30172 Master

    2)在slaves节点上执行jps

      30302 Worker
      30859 Jps

  (7)验证安装情况
      1)运行自带示例

        进入/spark-1.3.1/bin目录下,执行
        ./run-example  org.apache.spark.examples.SparkLR

      2)查看集群环境
        http://hadoop1:8080/

      3)进入spark-shell
        $spark-shell

      4)查看jobs等信息
        http://hadoop1:4040/jobs/

spark1.3.1安装和集群的搭建的更多相关文章

  1. 大数据平台搭建-zookeeper集群的搭建

    本系列文章主要阐述大数据计算平台相关框架的搭建,包括如下内容: 基础环境安装 zookeeper集群的搭建 kafka集群的搭建 hadoop/hbase集群的搭建 spark集群的搭建 flink集 ...

  2. 大数据平台搭建-kafka集群的搭建

    本系列文章主要阐述大数据计算平台相关框架的搭建,包括如下内容: 基础环境安装 zookeeper集群的搭建 kafka集群的搭建 hadoop/hbase集群的搭建 spark集群的搭建 flink集 ...

  3. CentOS6.5 安装Spark集群

    一.安装依赖软件Scala(所有节点) 1.下载Scala:http://www.scala-lang.org/files/archive/scala-2.10.4.tgz 2.解压: [root@H ...

  4. Windows安装RabbitMQ集群的几个注意点

    记录一下RabbitMQ在windows平台下安装的几个注意点- -,好记性不如烂笔头 安装过程与Linux安装一致,教程参照官网集群配置:此处只列举出几个注意点: 1. erlang的版本需要一致, ...

  5. centos7.0 安装redis集群

    生产环境下redis基本上都是用的集群,毕竟单机版随时都可能挂掉,风险太大.这里我就来搭建一个基本的redis集群,功能够用但是还需要完善,当然如果有钱可以去阿里云买云数据库Redis版的,那个还是很 ...

  6. 安装ClouderaManager以及使用ClouderaManager安装分布式集群的若干细节

    目录 前言 整体介绍 分步安装介绍 总结 一.前言        周末干了近四十个小时中间只休息了五个小时终于成功安装了ClouderaManager以及分布式集群,其中各种辛酸无以言表,唯有泪两行. ...

  7. 安装hadoop集群服务器(hadoop1.2.1)

    摘要:hadoop,一个分布式系统基础架构,可以充分利用集群的威力进行高速运算和存储.本文主要介绍hadoop的安装与集群服务器的配置. 准备文件: ▪ VMware11.0.0      ▪ Cen ...

  8. CentOS 6.5 安装HDFS集群(Hadoop-2.7.3)

    安装真实集群,而不是但节点或者伪分布式,以3个节点为例,node1为NameNode和SecondNameNode,node2和node3为DataNode. 1.3台机器的配置必须要一模一样,只需要 ...

  9. Centos安装Kafka集群

    kafka是LinkedIn开发并开源的一个分布式MQ系统,现在是Apache的一个孵化项目.在它的主页描述kafka为一个高吞吐量的分布式(能 将消息分散到不同的节点上)MQ.在这片博文中,作者简单 ...

随机推荐

  1. libuv里的几个缺陷

    libuv是node.js使用的基础库,主要包括主循环,文件和网络接口.虽然libuv是为node.js而生的,但它本身是一个独立的库,加上使用简单方便,所以在node.js之外也有不少人使用.最近整 ...

  2. 【CodeVS 1014】装箱问题

    题目描述 有一个箱子容量为V(正整数,0<=V<=20000),同时有n个物品(0<n<=30),每个物品有一个体积(正整数). 要求n个物品中,任取若干个装入箱内,使箱子的剩 ...

  3. Android EditText 获得输入焦点 以及requestfocus()失效的问题

    最近做公司项目的时候,经常会遇到一个问题,就是我为某个控件如EditText设置requestfocus()的时候不管用,比如说登陆的时候,我判断下用户输入的密码,如果正确就登陆,错误就提示密码错误, ...

  4. centos7 学习

    1.centos pid文件: 在Linux系统的目录/var/run下面一般我们都会看到很多的*.pid文件.而且往往新安装的程序在运行后也会在/var/run目录下面产生自己的pid文件.那么这些 ...

  5. postgresql 视图

    一.创建视图 create or replace view vw_users as select * from users; 二.通过定义规则来更新视图 create rule vw_users_up ...

  6. Css:背景色透明,内容不透明之终极方法!兼容所有浏览器

    转载 http://www.cnblogs.com/jikey/archive/2012/08/31/2665880.html <!DOCTYPE html PUBLIC "-//W3 ...

  7. Eclipse上安装GIT插件EGit

    一.Eclipse上安装GIT插件EGit Eclipse的版本eclipse-java-helios-SR2-win32.zip(在Eclipse3.3版本找不到对应的 EGit插件,无法安装) E ...

  8. MVC之URL路由

    注册路由规则集合 一个 Web 应用具有一个全局的路由表,该路由表通过 System. Web.Routing.RouteTable的静态只读属性 Routes 表示,该属性返回一个类型为 Syste ...

  9. XPath 语法示例

    参考:http://www.w3school.com.cn/xpath/xpath_syntax.asp XPath 使用路径表达式来选取 XML 文档中的节点或节点集.节点是通过沿着路径 (path ...

  10. postgres 正则表达式

    PostgreSQL正则表达式 基础: Operator Description Example ~ Matches regular expression, case sensitive 'thoma ...