Ubuntu 安装Spark出现的问题及解决

最近在搭建Hadoop集群环境和Spark集群环境，出现的问题可能不太复杂，纯粹记录安装步骤和问题解决办法。
集群环境使用的是（2台）阿里云主机，操作系统是Ubuntu 16.04.9版本

运行环境

Linux 操作系统：Ubuntu 16.04.9
Spark 安装版本（红色箭头的是下图安装报错的版本）

报错信息：

原因：没有用对Spark安装包，应该选择Hadoop编译后的安装包。在http://spark.apache.org/官网选择Pre-build对应hadoop版本的Spark安装包

环境搭建

1、修改集群配置文件
mv /spark/conf/slaves.template /spark/conf/slaves
vi /spark/conf/slaves
添加slave主机IP/hostname

2、修改Master节点运行配置
mv /spark/conf/spark-env.sh.template /spark/conf/spark-env.sh
如下配置项：

Spark环境变量配置

1、配置步骤
省略...

2、修改Spark 启动脚本（因为这个和Hadoop启动脚本名称冲突）
mv /spark/sbin/start-all.sh /spark/sbin/start-spark.sh
mv /spark/sbin/stop-all.sh /spark/sbin/stop-spark.sh

 

Ubuntu安装 Spark2.3.0 报错原因及解决的更多相关文章

  1. Ubuntu 安装ＱＴ５ 后编译程序报错： FindQt5Widgets.cmake

    安装QT5．4后,需要编译一个C++程序. Cmakelist 有find_package(Qt5Widgets REQUIRED),cmake 报错如下: CMake Error at CMakeL ...

  2. loadrunner12-运行报错原因及解决办法整理集合

    1.错误:已超过该load generator的CPU使用率80%: 答:机器内存过小,更换配置更好的机器来执行测试. 是因为虚机的内存过小,运行Controller需要消耗的CPU过高,超过了80% ...

  3. 导入项目@Override报错原因及解决办法

    从别人那里拷贝来的项目,在人家的环境里没有错误,可是导入到自己本地工程之后报错,删除掉@Override注解后就不报错,导致该原因的是本地工程的JDK版本未更新. 解决办法:调整JDK版本 如此即可解 ...

  4. VS2019 字符串对指针char*赋值编译器报错原因及解决方法

    2019-05-26   21:55:08 前几天在敲代码时,将字符串“Hellow world!”赋值给指针char*类型指针时编译器报错的问题 网上搜索后发现 char*是历史遗留问题,如果程序修 ...

  5. 【问题】R文件报错原因及解决办法 （转）

    错误如图.下面是几种解决方法(网上搜集的). 1.如果是导入项目出现这个问题,一般是R文件没有更新造成(据说导入项目,R不会自动更新).可以Project——clean以下,R文件会重新生成. 2.选 ...

  6. Mac下通过命令行安装npm install -g 报错，如何解决？

    1, 使用 sudo npm install -g n2, 或者 sudo chmod -R 777 /usr/local/lib,然后 npm install -g

  7. 代码正常，junit却报错原因及解决方法

    junit测试,不能有参数 和static,去掉static测试正常;

  8. 安装vue-cli时-4058报错的解决方法

    一.报错信息 安装vue-cli时-4058报错 二.解决办法 1.安装淘宝镜像 npm --registry https://registry.npm.taobao.org info undersc ...

  9. 安装swoole出现make报错的原因与解决方法

    安装swoole报错,错误信息如下: 报错原因 报错很明显,找不到 openssl/ssl.h ,首先要确认电脑上有没有安装 openssl Mac安装openssl 既然它找不到,那么就需要手动的指 ...

随机推荐

  1. poj_2709 贪心算法

    poj 2709 painter 题目要求 给定涂料,每套涂料含有3-12种不同的颜色(开始时候给定选用的颜料套的颜色数目),且一套涂料中每种颜色均有50ml.且一套涂料中的任意三种不同的颜色各X m ...

  2. vscode中的vue文件中emmet进行tab键不起作用

    文件--首选项---设置 搜索: emmet.includeLanguages在右边修改 "emmet.triggerExpansionOnTab": true, "em ...

  3. sencha touch 入门系列 (九) sencha touch 布局layout

    布局用来描述你应用程序中组件的大小和位置,在sencha touch中,为我们提供了下面几种布局: 1.HBox: HBox及horizontal box布局,我们这里将其称为水平布局,下面是一段演示 ...

  4. 自定义事件类EventManager (TS中...args的使用例子)

    一个自定义事件类 初衷是使用Egret的事件有两点比较麻烦 1   在事件处理函数时,需要从e中获取data hander(e:egret.Event){ let data = e.data; } 2 ...

  5. [USB] Windows USB/DVD Download Tool

    此工具为微软官方U盘启动盘制作工具 Windows USB/DVD Download Tool 说明:https://www.microsoft.com/en-us/download/windows- ...

  6. 微信小程序 --- https请求

    wx.request发起的是 https 请求,而不是 http 请求.一个小程序 同时 只能有 5个 网络请求. 参数: url:开发者服务器接口地址: data:请求的参数: header:设置请 ...

  7. 音频的录制和播放功能(audio) ---- HTML5+

    模块:audio Audio模块用于提供音频的录制和播放功能,可调用系统的麦克风设备进行录音操作,也可调用系统的扬声器设备播放音频文件.通过plus.audio获取音频管理对象. 应用场景:音频录制, ...

  8. ThinkPHP分页用异步来做，玩转分页类！

    具体为什么用异步来做分页我就不多说了! 用异步来做分页,主要还是看分页类怎么玩! 方便管理,还是把Ajax分页作为一个工具来使用: 同样新建工具类: 多次尝试,最终修改好的分页类是这样的:(我自己使用 ...

  9. Python 3 利用 Dlib 实现人脸 68个 特征点的标定

    0. 引言 利用 Dlib 官方训练好的模型 “shape_predictor_68_face_landmarks.dat” 进行 68 个点标定: 利用 OpenCv 进行图像化处理,在人脸上画出 ...

  10. 2.06StuModify.aspx(修改姓名，性别，所在班级)

    meta http-equiv="Content-Type" content="text/html; charset=utf-8"/> <title ...