关于yarn的spark配置属性
spark1.2.0
Property Name | Default | Meaning |
spark.yarn.applicationMaster.waitTries | 10 | ApplicationMaster 链接Spark master和SparkContext初始化的尝试次数 |
spark.yarn.submit.file.replication | 3 | 上传到HDFS上的Spark jar、app jar登文件的备份数 |
spark.yarn.preserve.staging.files | false | spark任务结束后是否删除上传的Spark jar、app jar等文件 |
spark.yarn.scheduler.heartbeat.interval-ms | 5000 | Spark application master向YARN ResourceManager发送心跳的时间间隔 |
spark.yarn.max.executor.failures |
numExecutors * 2 最小是3 |
executor 失败多少次就标记此应用的运行失败 |
park.yarn.historyServer.address | 空 | 默认无,是可选项,格式为host.com:port,不带http://,是spark历史服务器的地址 |
spark.yarn.dist.archives | 空 | Comma separated list of archives to be extracted into the working directory of each executor |
spark.yarn.dist.files | 空 | Comma-separated list of files to be placed in the working directory of each executor. |
spark.yarn.executor.memoryOverhead |
executorMemory * 0.07, with minimum of 384 |
The amount of off heap memory (in megabytes) to be allocated per executor. This is memory that accounts for things like VM overheads, interned strings, other native overheads, etc. This tends to grow with the executor size (typically 6-10%). |
spark.yarn.driver.memoryOverhead |
driverMemory * 0.07 with minimum of 384 |
The amount of off heap memory (in megabytes) to be allocated per driver. This is memory that accounts for things like VM overheads, interned strings, other native overheads, etc. This tends to grow with the container size (typically 6-10%). |
spark.yarn.queue | default | 应用提交给yarn队列的名字 |
spark.yarn.jar | 空 | spark jar包的的路径,默认使用本地spark目录中的,也可以放到HDFS上 |
spark.yarn.access.namenodes | 空 | 有安全认证的HDFS namenode的地址如:spark.yarn.access.namenodes=hdfs://nn1.com:8032,hdfs://nn2.com:8032 |
spark.yarn.appMasterEnv.[EnvironmentVariableName] | 空 | 环境变量的设置 |
spark.yarn.containerLauncherMaxThreads | 25 | application master启动executor container的线程最大数量 |
关于yarn的spark配置属性的更多相关文章
- spark on yarn模式下配置spark-sql访问hive元数据
spark on yarn模式下配置spark-sql访问hive元数据 目的:在spark on yarn模式下,执行spark-sql访问hive的元数据.并对比一下spark-sql 和hive ...
- 【Spark学习】Apache Spark配置
Spark版本:1.1.1 本文系从官方文档翻译而来,转载请尊重译者的工作,注明以下链接: http://www.cnblogs.com/zhangningbo/p/4137969.html Spar ...
- Spark配置参数详解
以下是整理的Spark中的一些配置参数,官方文档请参考Spark Configuration. Spark提供三个位置用来配置系统: Spark属性:控制大部分的应用程序参数,可以用SparkConf ...
- Spark配置详解
Spark提供三个位置用来配置系统: Spark属性:控制大部分的应用程序参数,可以用SparkConf对象或者Java系统属性设置 环境变量:可以通过每个节点的 conf/spark-env.sh脚 ...
- Spark 配置参数
SparkConfiguration 这一章节来看看 Spark的相关配置. 并非仅仅能够应用于 SparkStreaming, 而是对于 Spark的各种类型都有支持. 各个不同. 其中中文参考链接 ...
- Spark配置&启动脚本分析
本文档基于Spark2.0,对spark启动脚本进行分析. date:2016/8/3 author:wangxl Spark配置&启动脚本分析 我们主要关注3类文件,配置文件,启动脚本文件以 ...
- hadoop之 hadoop 2.2.X 弃用的配置属性名称及其替换名称对照表
Deprecated Properties 弃用属性 The following table lists the configuration property names that are depr ...
- CDH集群中YARN的参数配置
CDH集群中YARN的参数配置 前言:Hadoop 2.0之后,原先的MapReduce不在是简单的离线批处理MR任务的框架,升级为MapReduceV2(Yarn)版本,也就是把资源调度和任务分发两 ...
- Spark 配置整理
Spark 的配置有很多,这里一方面总结一下官方文档中的内容,一方面将网上查到的资料中用到的针对特定问题的配置整理一下. 先看一下官网的配置:http://spark.apache.org/docs/ ...
随机推荐
- ajax 留言板
<!doctype html> <html lang="en"> <head> <meta charset="UTF-8&quo ...
- dom 学习的开始~简单留言1
<!doctype html> <html> <head> <meta charset="utf-8"> <title> ...
- 【Excel】Retrieving the COM class factory for component with CLSID {00024500-0000-0000-C000-000000000046}:
[Excel]Retrieving the COM class factory for component with CLSID {00024500-0000-0000-C000-0000000000 ...
- hdu4421-Bit Magic(2-SAT)
题意 根据图中公式由A[]构造B[][],现在给你B,问你存不存在一个数组A使之成立. 题解:对于每一位进行2-sat求解. 比赛半个小时时间,没做出来…… 一直T. 因为本身对算法不确定,所以也不知 ...
- Codeforces Round #368 (Div. 2) B. Bakery (模拟)
Bakery 题目链接: http://codeforces.com/contest/707/problem/B Description Masha wants to open her own bak ...
- OSPF ProcessID(进程号)详解
一.OSPF ProcessID本地有效 首先明确一下,OSPF ProcessID,范围为1-65535,用于在路由器本地标识OSPF进程. 看上图,R1使用进程号10创建了一个OS ...
- 咏南WEB开发框架
和咏南CS开发框架共享同一个咏南中间件.
- 原生JS修改标签样式为带阴影效果
代码如下: JS部分 //点击时候,改变样式 function GetCategoryInfo(value) { var getInfo = value.toString().split(','); ...
- I/O小总结
//判断不存在就创建目录 ,然后拷贝文件 DirectoryInfo di = null; if (!Directory.Exists(n.Attribute("value").V ...
- Android读取assets目录下的资源
1.获取资源的输入流 资源文件 sample.txt 位于 $PROJECT_HOME/assets/ 目录下,可以在 Activity 中通过 Context.getAssets().open(“s ...