0. 说明

  Spark 集群搭建

  【集群规划】

服务器主机名 ip 节点配置
s101 192.168.23.101 Master
s102 192.168.23.102 Worker
s103 192.168.23.103 Worker
s104 192.168.23.104 Worker

1. Spark 集群搭建

  1.0 前提

  完成 Spark 单节点的安装,参照  Spark 基本概念 & 安装  安装部分

  基于 Hadoop 完全分布式集群

  1.1 配置 JAVA_HOME 环境变量

# 复制 spark-env.sh
cd /soft/spark/conf
cp spark-env.sh.template spark-env.sh # 配置 JAVA_HOME 环境变量
nano spark-env.sh

export JAVA_HOME=/soft/jdk

  1.2 在 Spark 的 conf 目录下创建 Hadoop 的 core-site.xml 和 hdfs-site.xml 符号连接

ln -s /soft/hadoop/etc/hadoop/core-site.xml /soft/spark/conf/core-site.xml
ln -s /soft/hadoop/etc/hadoop/hdfs-site.xml /soft/spark/conf/hdfs-site.xml

  1.3 修改 slaves 文件

# 复制 slaves
cd /soft/spark/conf
cp slaves.template slaves # 修改 slaves 文件
nano  slaves

s102
s103
s104

  1.4 分发 Spark

# 分发 Spark 符号链接
xsync.sh /soft/spark
# 分发 Spark 安装目录
xsync.sh /soft/spark-2.1.-bin-hadoop2.

  1.5 分发环境变量

# 切换 root 用户
su root # 分发环境变量配置文件
xsync.sh /etc/profile # 退出 root 用户
exit

  1.6 生效环境变量

# 分别在s102-s104生效环境变量
source /etc/profile

 

2. 启动 Spark 集群

  2.1 启动 ZooKeeper

# 在 s101 执行
xzk.sh start

  2.2 启动 HDFS

start-dfs.sh

  2.3 启动 Spark

# 进入目录
cd /soft/spark/sbin # 启动
./start-all.sh

  2.4 进入 Spark 的 Web UI
  http://s101:8080

  2.5 上传文件到 HDFS 中

  文件内容为以空格分隔的文本。

hdfs dfs -put wc1.txt /

  2.6 启动 spark shell,连接到 Spark 集群

# 启动 spark shell,连接到 Spark 集群
spark-shell --master spark://s101:7077 # 测试
sc.textFile("/wc1.txt").flatMap(_.split(" ")).map((_,)).reduceByKey(_+_).collect()

3. 配置 s105 作为 Client [可选]

  【说明】

  配置 s105 作为 Cluster 模式提交 Spark job

  【过程】

  参照以上步骤完成,在有需要的时候配置


Spark 集群搭建的更多相关文章

  1. (四)Spark集群搭建-Java&Python版Spark

    Spark集群搭建 视频教程 1.优酷 2.YouTube 安装scala环境 下载地址http://www.scala-lang.org/download/ 上传scala-2.10.5.tgz到m ...

  2. Spark集群搭建简要

    Spark集群搭建 1 Spark编译 1.1 下载源代码 git clone git://github.com/apache/spark.git -b branch-1.6 1.2 修改pom文件 ...

  3. Spark集群搭建简配+它到底有多快?【单挑纯C/CPP/HADOOP】

    最近耳闻Spark风生水起,这两天利用休息时间研究了一下,果然还是给人不少惊喜.可惜,笔者不善JAVA,只有PYTHON和SCALA接口.花了不少时间从零开始认识PYTHON和SCALA,不少时间答了 ...

  4. Spark集群搭建中的问题

    参照<Spark实战高手之路>学习的,书籍电子版在51CTO网站 资料链接 Hadoop下载[链接](http://archive.apache.org/dist/hadoop/core/ ...

  5. Spark集群搭建_Standalone

    2017年3月1日, 星期三 Spark集群搭建_Standalone Driver:    node1    Worker:  node2    Worker:  node3 1.下载安装 下载地址 ...

  6. Spark集群搭建_YARN

    2017年3月1日, 星期三 Spark集群搭建_YARN 前提:参考Spark集群搭建_Standalone   1.修改spark中conf中的spark-env.sh   2.Spark on ...

  7. spark集群搭建

    文中的所有操作都是在之前的文章scala的安装及使用文章基础上建立的,重复操作已经简写: 配置中使用了master01.slave01.slave02.slave03: 一.虚拟机中操作(启动网卡)s ...

  8. hadoop+spark集群搭建入门

    忽略元数据末尾 回到原数据开始处 Hadoop+spark集群搭建 说明: 本文档主要讲述hadoop+spark的集群搭建,linux环境是centos,本文档集群搭建使用两个节点作为集群环境:一个 ...

  9. Spark集群搭建(local、standalone、yarn)

    Spark集群搭建 local本地模式 下载安装包解压即可使用,测试(2.2版本)./bin/spark-submit --class org.apache.spark.examples.SparkP ...

随机推荐

  1. javascript 创建对象方式

    本文主要是对<JavaScript高级程序设计>第六章(面向对象的程序设计)的总结,书上的这章至少看了4遍是有的.该章主要讲对象的创建与继承.其中创建对象和继承方式至少6种,再加上一些方法 ...

  2. ApiGen安装

    # 首先,下载ApiGen(http://apigen.org/apigen.phar) # *nix系统 下载phar文件后, 移动到PATH目录中,以保证全局有权限调用 $ mv apigen.p ...

  3. .3-浅析express源码之applicaiton模块(2)-app.render

    这个模块还漏了一个稍微复杂点的API,就是app.render,首先看官网的定义: app.render(view, [locals], callback) view为对应的文件名,locals为一个 ...

  4. 任意的组合,数组或数组,数组或list,list或list不用循环得出匹配的总数和需要的字段列

    var res = list.Where(p=> list2.Any(x=>x.Id == p.Id));var count = res.Count();var ids = res.Sel ...

  5. Dapper入门使用,代替你的DbSQLhelper

    Dapper介绍 Dapper是.Net下的一个轻量级ORM框架.在小型工具向的项目下,使用Dapper会使数据库操作层代码更加优雅. Dapper的使用 在项目中使用引用Dapper非常简单,你可以 ...

  6. [基础篇] 玄机网C#培训课程-初级.

    课程目录 0x01第一课课前准备vs的选择与安装常用工具/网址      http://msdn.itellyou.cn/vs常用设置 0x02第二课C#的语法样式  编程风格VS的常用功能 俩个注意 ...

  7. ADO.NET 【属性扩展】性别、年龄、编号

    1.性别属性扩展 private bool _Sex; //成员变量 public bool Sex // 属性 { get { return _Sex; } set { _Sex = value; ...

  8. Could not initialize plugin: interface org.mockito.plugins.MockMaker

    IDE:Idea 添加依赖 <dependency> <groupId>net.bytebuddy</groupId> <artifactId>byte ...

  9. 一个很好用的SqlHelper类

    using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.T ...

  10. 华中农业大学第五届程序设计大赛网络同步赛-K

    K.Deadline There are N bugs to be repaired and some engineers whose abilities are roughly equal. And ...