Spark监控官方文档学习笔记
任务的监控和使用
有几种方式监控spark应用:Web UI,指标和外部方法
Web接口
每个SparkContext都会启动一个web UI,默认是4040端口,用来展示一些信息:
- 一系列调度的stage和task
- RDD大小和内存的使用概况
- 环境变量信息
- excutors的相关信息
可以通过http://<driver-node>:4040
访问,如果有多个sparkcontext运行在同一个节点,那么端口会依次为4040、4041、4042。
注意这些信息只有在应用执行期间才能看到。如果想要执行完毕查看,那么可以在应用开始前设置spark.eventLog.enabled
为true
,这样spark的日志信息会被持久化。
在应用执行结束后查看web UI
当应用执行完毕,可以在Spark History Server上查看日志。可以通过下面的命令启动history server:
./start-history-server.sh
这样默认访问http://<server-url>:18080
即可。
如果使用文件系统的provider class(比如spark.history.provider),需要配置spark.history.fs.logDirectory
选项。
spark的jobs本身需要配置日志,并且输出到相同的共享、可写目录。比如,下面就把日志输出到hdfs://namenode/shared/spark-logs
,client需要增加配置:
spark.eventLog.enabled true
spark.eventLog.dir hdfs://namenode/shared/spark-logs
环境变量
变量 | 说明 |
---|---|
SPARK_DAEMON_MEMORY | history server分配的内存 |
SPARK_DAEMON_JAVA_OPTS | JVM选项 |
SPARK_PUBLIC_DNS | 对外的地址,如果没有设置应该是用回环地址,这块没怎么看明白 |
SPARK_HISTORY_OPTS | history server的配置 |
配置
变量名 | 默认值 | 说明 |
---|---|---|
spark.history.provider | org.apache.spark.deploy.history.FsHistoryProvider | history背后的实现类,目前spark就提供这一种,是基于文件系统的 |
spark.history.fs.logDirectory | file:/tmp/spark-events | 支持file://或者hdfs:// |
spark.history.fs.update.interval | 10s | 这个是服务器刷新的时间,只有服务器这边刷新了,webUI那边才有反应 |
spark.history.retainedApplications | 50 | 缓存的应用个数,如果超过限制,会从磁盘加载 |
spark.history.ui.maxApplications | Int.MaxValue | 概况首页可以显示的应用数量 |
spark.history.ui.piort | 18080 | 端口号 |
spark.history.kerberos.enabled | false | 是否使用kerberos登陆 |
spark.history.kerberos.principal | kerberos不了解 | |
spark.history.kerberos.keytab | kerberos不了解 | |
spark.history.ui.acls.enable | false | acl校验 |
spark.history.ui.admin.acls | empty | 可以查看history server的用户,*代表所有用户 |
spark.history.fs.cleaner.enabled | false | 是否周期性的清除日志 |
spark.history.fs.cleaner.interval | 1d | 多长时间检查一次,应用日志是否清除 |
spark.history.fs.cleaner.maxAge | 7d | 超过这个时间的日志会被清除掉 |
spark.history.fs.numReplayThreads | 25% of available cores | history server可以用的处理日志的线程数 |
注意在概况首页,所有的列都可以点击用来排序。
- history server可以同时展示完成或者未完成的spark任务。如果应用在失败后有多次尝试,失败的记录也会展示出来。
- 未完成的应用需要等待服务器内部刷新。刷新的时间可以通过
spark.history.fs.update.interval
。如果集群很大,那么刷新时间应该长一点,如果想看实时的数据,可以通过web UI查看 - application如果中途直接退出,那么会被标注为未完成。
- 想要标记spark为完成状态,需要sc.stop()方法执行
Rest API
另外可以通过UI查看指标。这样可以让开发者很容易的创建一些可视化的工具。这些命令同时也只支持正在运行的应用。对于history server,访问的地址是http://<server-url>:18080/api/v1
,对于正在运行的任务,可以访问http://localhost:4040/api/v1
在这些api中,应用的标识为ID[app-id]
。当通过YARN启动时,每个应用可能会有多次尝试,只有在cluster模式下才有 应用尝试的id,client模式是没有的。如果是集群模式,那么app-id其实是[base-app-id]/[attempt-id],其中base-app-id是yarn的appid。
?status=[active|complete|pending|failed] 可以列出对应的状态
url | 说明 |
---|---|
/applications |
列出所有的应用。?status=[complete|running] 选择对应的状态展示?minDate=[date] 显示最小日期的应用,?maxDate=[date]``minEndDate=[date]``?maxEndDate=[date]``?limit=[limit] |
/applications/[app-id]/jobs |
展示对应的jobs |
/applications/[app-id]/jobs/[job-id] |
job信息 |
/applications/[app-id]/stages |
stages信息 |
/applications/[app-id]/executors |
excutors信息 |
/applications/[app-id]/streaming/statistics |
streaming信息 |
其他工具
其他相关的性能调优的工具:
- 集群监控,可以使用Ganglia
- 操作系统监控,可以用dstat, iostat, iotop
- JVM可以用jstack, jstat, jconsole
Spark监控官方文档学习笔记的更多相关文章
- Spark Streaming官方文档学习--上
官方文档地址:http://spark.apache.org/docs/latest/streaming-programming-guide.html Spark Streaming是spark ap ...
- pm2 官方文档 学习笔记
一.安装 1.安装 npm install pm2 -g 2.更新 npm install pm2 -g && pm2 update pm2 update 是为了刷新 PM2 的守护进 ...
- vue.js 2.0 官方文档学习笔记 —— 01. vue 介绍
这是我的vue.js 2.0的学习笔记,采取了将官方文档中的代码集中到一个文件的形式.目的是保存下来,方便自己查阅. !官方文档:https://cn.vuejs.org/v2/guide/ 01. ...
- Vue2.0 官方文档学习笔记
VUE2.0官方文档 基础部分: 1.VUE简介 Vue是一个基于MVVM的框架,其中M代表数据处理层,V代表视图层即我们在Vue组件中的html部分,VM即M和V的结合层,处理M层相应的逻辑数据,在 ...
- Spark Streaming官方文档学习--下
Accumulators and Broadcast Variables 这些不能从checkpoint重新恢复 如果想启动检查点的时候使用这两个变量,就需要创建这写变量的懒惰的singleton实例 ...
- Vue.js官方文档学习笔记(一)起步篇
Vue.js起步 Vue.js介绍 Vue (读音 /vjuː/,类似于 view) 是一套用于构建用户界面的渐进式框架.与其它大型框架不同的是,Vue 被设计为可以自底向上逐层应用.Vue 的核心库 ...
- Less 官方文档学习笔记
LESS 是css的一种扩展,它的编辑器是基于node.js 的less.js,将less文件编译成css文件(可压缩). 其中的概念: 变量:定义变量来代替某个值,只能编译一次,本质是“常量”.例如 ...
- Vue.js官方文档学习笔记(三)创建Vue实例
创建Vue实例 每个 Vue 应用都是通过用 Vue 函数创建一个新的 Vue 实例开始的: var vm=new Vue({ //选项 }) Vue的设计受到了mvvm的启发 当创建一个 Vue 实 ...
- Vue.js官方文档学习笔记(二)组件化应用的构建
组件化应用的构建 组件化应用允许我们使用小型.独立和通常可复用的组件构建大型应用. Vue注册组件 Vue.component('todo-item',{template:'<li>这是个 ...
随机推荐
- 微软为.NET程序员带来了最优的跨平台开发体验-WSL
前言 在前几个Visual Studio Code更新中发现有一个重要得特性,就是nodejs可以使用VS Code在WSL中进行Debug了(WSL是指Win10中的Linux子系统),之前写过一篇 ...
- Wannafly模拟赛5 A Split 暴力 二分加速
你有一个大小为
- CCF-201403-2-窗口
问题描述 试题编号: 201403-2 试题名称: 窗口 时间限制: 1.0s 内存限制: 256.0MB 问题描述: 问题描述 在某图形操作系统中,有 N 个窗口,每个窗口都是一个两边与坐标轴分别平 ...
- Echarts后台封装option对象
该方法返回的keyword指向了前台负责图表显示的jsp页面 public String keyword() { if(this.dateNum == null || this.dateNum.equ ...
- JS 判断某个字符串是否存在与数组中
<script> function in_array(stringToSearch, arrayToSearch) { for (s = 0; s < arrayToSearch.l ...
- easyUI带复选框的组合树
代码: <input id="depts"><script type="text/javascript">$(document).rea ...
- .NET Core快速入门教程 1、开篇:说说.NET Core的那些事儿
一..NET Core的诞生 聊 .NET Core,就不得不说他的爸爸 .NET.当年Java刚刚兴起,如火如荼,微软也非常推崇Java,当时Windows平台的Java虚拟机就是微软按照JVM标准 ...
- springboot+thymeleaf(2)
操作步骤 (1)在pom.xml中引入thymeleaf; (2)如何关闭thymeleaf缓存 (3)编写模板文件.html (4)编写访问模板文件controller 1.在pom.xml中引入t ...
- python入门基础
Python 入门 变量 什么是变量?变量就是变化的量,核心是"变"和"量"两个字,变就是变化,量就是衡量状态. 为什么需要变量?程序执行的本质就是一系列状态的 ...
- 八、 Spring Boot 过滤器、监听器
直接使用@WebFilter和@WebListener的方式,完成一个Filter 和一个 Listener.过滤器(Filter)文件MyFilter.Javapackage org.springb ...