Spark 集群搭建
0. 说明
Spark 集群搭建
【集群规划】
服务器主机名 | ip | 节点配置 |
s101 | 192.168.23.101 | Master |
s102 | 192.168.23.102 | Worker |
s103 | 192.168.23.103 | Worker |
s104 | 192.168.23.104 | Worker |
1. Spark 集群搭建
1.0 前提
完成 Spark 单节点的安装,参照 Spark 基本概念 & 安装 安装部分
基于 Hadoop 完全分布式集群
1.1 配置 JAVA_HOME 环境变量
# 复制 spark-env.sh
cd /soft/spark/conf
cp spark-env.sh.template spark-env.sh # 配置 JAVA_HOME 环境变量
nano spark-env.sh export JAVA_HOME=/soft/jdk
1.2 在 Spark 的 conf 目录下创建 Hadoop 的 core-site.xml 和 hdfs-site.xml 符号连接
ln -s /soft/hadoop/etc/hadoop/core-site.xml /soft/spark/conf/core-site.xml
ln -s /soft/hadoop/etc/hadoop/hdfs-site.xml /soft/spark/conf/hdfs-site.xml
1.3 修改 slaves 文件
# 复制 slaves
cd /soft/spark/conf
cp slaves.template slaves # 修改 slaves 文件
nano slaves s102
s103
s104
1.4 分发 Spark
# 分发 Spark 符号链接
xsync.sh /soft/spark
# 分发 Spark 安装目录
xsync.sh /soft/spark-2.1.-bin-hadoop2.
1.5 分发环境变量
# 切换 root 用户
su root # 分发环境变量配置文件
xsync.sh /etc/profile # 退出 root 用户
exit
1.6 生效环境变量
# 分别在s102-s104生效环境变量
source /etc/profile
2. 启动 Spark 集群
2.1 启动 ZooKeeper
# 在 s101 执行
xzk.sh start
2.2 启动 HDFS
start-dfs.sh
2.3 启动 Spark
# 进入目录
cd /soft/spark/sbin # 启动
./start-all.sh
2.4 进入 Spark 的 Web UI
http://s101:8080
2.5 上传文件到 HDFS 中
文件内容为以空格分隔的文本。
hdfs dfs -put wc1.txt /
2.6 启动 spark shell,连接到 Spark 集群
# 启动 spark shell,连接到 Spark 集群
spark-shell --master spark://s101:7077 # 测试
sc.textFile("/wc1.txt").flatMap(_.split(" ")).map((_,)).reduceByKey(_+_).collect()
3. 配置 s105 作为 Client [可选]
【说明】
配置 s105 作为 Cluster 模式提交 Spark job
【过程】
参照以上步骤完成,在有需要的时候配置
Spark 集群搭建的更多相关文章
- (四)Spark集群搭建-Java&Python版Spark
Spark集群搭建 视频教程 1.优酷 2.YouTube 安装scala环境 下载地址http://www.scala-lang.org/download/ 上传scala-2.10.5.tgz到m ...
- Spark集群搭建简要
Spark集群搭建 1 Spark编译 1.1 下载源代码 git clone git://github.com/apache/spark.git -b branch-1.6 1.2 修改pom文件 ...
- Spark集群搭建简配+它到底有多快?【单挑纯C/CPP/HADOOP】
最近耳闻Spark风生水起,这两天利用休息时间研究了一下,果然还是给人不少惊喜.可惜,笔者不善JAVA,只有PYTHON和SCALA接口.花了不少时间从零开始认识PYTHON和SCALA,不少时间答了 ...
- Spark集群搭建中的问题
参照<Spark实战高手之路>学习的,书籍电子版在51CTO网站 资料链接 Hadoop下载[链接](http://archive.apache.org/dist/hadoop/core/ ...
- Spark集群搭建_Standalone
2017年3月1日, 星期三 Spark集群搭建_Standalone Driver: node1 Worker: node2 Worker: node3 1.下载安装 下载地址 ...
- Spark集群搭建_YARN
2017年3月1日, 星期三 Spark集群搭建_YARN 前提:参考Spark集群搭建_Standalone 1.修改spark中conf中的spark-env.sh 2.Spark on ...
- spark集群搭建
文中的所有操作都是在之前的文章scala的安装及使用文章基础上建立的,重复操作已经简写: 配置中使用了master01.slave01.slave02.slave03: 一.虚拟机中操作(启动网卡)s ...
- hadoop+spark集群搭建入门
忽略元数据末尾 回到原数据开始处 Hadoop+spark集群搭建 说明: 本文档主要讲述hadoop+spark的集群搭建,linux环境是centos,本文档集群搭建使用两个节点作为集群环境:一个 ...
- Spark集群搭建(local、standalone、yarn)
Spark集群搭建 local本地模式 下载安装包解压即可使用,测试(2.2版本)./bin/spark-submit --class org.apache.spark.examples.SparkP ...
随机推荐
- javascript 创建对象方式
本文主要是对<JavaScript高级程序设计>第六章(面向对象的程序设计)的总结,书上的这章至少看了4遍是有的.该章主要讲对象的创建与继承.其中创建对象和继承方式至少6种,再加上一些方法 ...
- ApiGen安装
# 首先,下载ApiGen(http://apigen.org/apigen.phar) # *nix系统 下载phar文件后, 移动到PATH目录中,以保证全局有权限调用 $ mv apigen.p ...
- .3-浅析express源码之applicaiton模块(2)-app.render
这个模块还漏了一个稍微复杂点的API,就是app.render,首先看官网的定义: app.render(view, [locals], callback) view为对应的文件名,locals为一个 ...
- 任意的组合,数组或数组,数组或list,list或list不用循环得出匹配的总数和需要的字段列
var res = list.Where(p=> list2.Any(x=>x.Id == p.Id));var count = res.Count();var ids = res.Sel ...
- Dapper入门使用,代替你的DbSQLhelper
Dapper介绍 Dapper是.Net下的一个轻量级ORM框架.在小型工具向的项目下,使用Dapper会使数据库操作层代码更加优雅. Dapper的使用 在项目中使用引用Dapper非常简单,你可以 ...
- [基础篇] 玄机网C#培训课程-初级.
课程目录 0x01第一课课前准备vs的选择与安装常用工具/网址 http://msdn.itellyou.cn/vs常用设置 0x02第二课C#的语法样式 编程风格VS的常用功能 俩个注意 ...
- ADO.NET 【属性扩展】性别、年龄、编号
1.性别属性扩展 private bool _Sex; //成员变量 public bool Sex // 属性 { get { return _Sex; } set { _Sex = value; ...
- Could not initialize plugin: interface org.mockito.plugins.MockMaker
IDE:Idea 添加依赖 <dependency> <groupId>net.bytebuddy</groupId> <artifactId>byte ...
- 一个很好用的SqlHelper类
using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.T ...
- 华中农业大学第五届程序设计大赛网络同步赛-K
K.Deadline There are N bugs to be repaired and some engineers whose abilities are roughly equal. And ...