Spark资源配置(核数与内存)
转载自:http://blog.csdn.net/zrc199021/article/details/54020692
关于所在节点核数怎么看?
======================================================================
# 总核数 = 物理CPU个数 X 每颗物理CPU的核数
# 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数
# 查看物理CPU个数
cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l
# 查看每个物理CPU中core的个数(即核数)
cat /proc/cpuinfo| grep "cpu cores"| uniq
# 查看逻辑CPU的个数
cat /proc/cpuinfo| grep "processor"| wc -l
======================================================================
spark资源主要就是core和memery。
spark主题功能分三部分:spark RDD,sparkSQL,spark shell,如果每个部分的功能都要用,那么每块都要占用资源。
其中,spark RDD和spark shell 是动态分配占用资源的,sparkSQL是静态分配资源的(启动后即一直占着分配的资源)
spark分配的总体资源在哪里看?
- cat /home/mr/spark/conf/spark-env.sh
- JAVA_HOME=/usr/java/jdk
- SPARK_HOME=/home/mr/spark
- SPARK_PID_DIR=/home/mr/spark/pids
- SPARK_LOCAL_DIRS=/data2/zdh/spark/tmp,/data3/zdh/spark/tmp,/data4/zdh/spark/tmp
- SPARK_WORKER_DIR=/data2/zdh/spark/work
- SPARK_LOG_DIR=/data1/zdh/spark/logs
- SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18088-Dspark.history.retainedApplications=500"
- SPARK_MASTER_WEBUI_PORT=18080
- SPARK_WORKER_WEBUI_PORT=18081
- SPARK_WORKER_CORES=25
- SPARK_WORKER_MEMORY=150g
- SPARK_DAEMON_MEMORY=2g
- SPARK_LOCAL_HOSTNAME=`hostname`
- YARN_CONF_DIR=/home/mr/yarn/etc/hadoop
SparkSQL的总体资源在哪看?
- [root@vmax47 conf]# cat sparksql-defaults.conf
- spark.serializer=org.apache.spark.serializer.KryoSerializer
- spark.driver.extraJavaOptions=-Xss32m-XX:PermSize=128M-XX:MaxPermSize=512m
- spark.driver.extraClassPath=/home/mr/spark/libext/*
- spark.executor.extraClassPath=/home/mr/spark/libext/*
- spark.executor.memory=10g
- spark.eventLog.enabled=true
- spark.eventLog.dir=/data1/zdh/spark/logs/eventLog
- spark.history.fs.logDirectory=/data1/zdh/spark/logs/eventLog
- spark.worker.cleanup.enabled=true
- spark.shuffle.consolidateFiles=true
- spark.ui.retainedJobs=200
- spark.ui.retainedStages=200
- spark.deploy.retainedApplications=100
- spark.deploy.retainedDrivers=100
- spark.speculation=true
- spark.speculation.interval=1000
- spark.speculation.multiplier=4
- spark.speculation.quantile=0.85
- spark.shuffle.service.enabled=false
- spark.dynamicAllocation.enabled=false
- spark.dynamicAllocation.minExecutors=0
- spark.dynamicAllocation.maxExecutors=2147483647
- spark.sql.broadcastTimeout=600
- spark.yarn.queue=mr
- spark.master=spark://vmax47:7077,SPARK49:7077
- spark.deploy.recoveryMode=ZOOKEEPER
- spark.deploy.zookeeper.url=SPARK49:2181,HADOOP50:2181,vmax47:2181
- spark.ui.port=4100
- spark.driver.memory=40G
- spark.cores.max=30
查看Spark资源可从18080端口查看:
Spark资源配置(核数与内存)的更多相关文章
- Spark内核| 调度策略| SparkShuffle| 内存管理| 内存空间分配| 核心组件
1. 调度策略 TaskScheduler会先把DAGScheduler给过来的TaskSet封装成TaskSetManager扔到任务队列里,然后再从任务队列里按照一定的规则把它们取出来在Sched ...
- Spark Tungsten揭秘 Day4 内存和CPU优化使用
Spark Tungsten揭秘 Day4 内存和CPU优化使用 今天聚焦于内存和CPU的优化使用,这是Spark2.0提供的关于执行时的非常大的优化部分. 对过去的代码研究,我们会发现,抽象的提高, ...
- Spark Tungsten揭秘 Day3 内存分配和管理内幕
Spark Tungsten揭秘 Day3 内存分配和管理内幕 恭喜Spark2.0发布,今天会看一下2.0的源码. 今天会讲下Tungsten内存分配和管理的内幕.Tungsten想要工作,要有数据 ...
- [Spark性能调优] 第四章 : Spark Shuffle 中 JVM 内存使用及配置内幕详情
本课主题 JVM 內存使用架构剖析 Spark 1.6.x 和 Spark 2.x 的 JVM 剖析 Spark 1.6.x 以前 on Yarn 计算内存使用案例 Spark Unified Mem ...
- 【Spark调优】内存模型与参数调优
[Spark内存模型] Spark在一个executor中的内存分为3块:storage内存.execution内存.other内存. 1. storage内存:存储broadcast,cache,p ...
- Spark 1.x 爆内存相关问题汇总及解
Spark 1.x 爆内存相关问题汇总及解决 OOM # 包括GC Overhead limitjava.lang.OutOfMemoryError # on yarn org.apache.hado ...
- spark性能调优(四) spark shuffle中JVM内存使用及配置内幕详情
转载:http://www.cnblogs.com/jcchoiling/p/6494652.html 引言 Spark 从1.6.x 开始对 JVM 的内存使用作出了一种全新的改变,Spark 1. ...
- Spark Shuffle 中 JVM 内存使用及配置内幕详情
本课主题 JVM 內存使用架构剖析 Spark 1.6.x 和 Spark 2.x 的 JVM 剖析 Spark 1.6.x 以前 on Yarn 计算内存使用案例 Spark Unified M ...
- Spark 介绍(基于内存计算的大数据并行计算框架)
Spark 介绍(基于内存计算的大数据并行计算框架) Hadoop与Spark 行业广泛使用Hadoop来分析他们的数据集.原因是Hadoop框架基于一个简单的编程模型(MapReduce),它支持 ...
- 获取指定订阅下所有Azure ARM虚拟机配置(CPU核数,内存大小,磁盘信息)的使用情况
脚本内容: <# .SYNOPSIS This script grab all ARM VM VHD file in the subscription and caculate VHD size ...
随机推荐
- springboot启动配置原理之二(运行run方法)
public ConfigurableApplicationContext run(String... args) { StopWatch stopWatch = new StopWatch(); s ...
- 《HTTP 权威指南》笔记:第十四章 安全 HTTP
 HTTPS 与 HTTP 不同,其在传输层与应用层之间添加了一个 SSL/TLS 的安全层.机制:所有的 HTTP 请求与响应都要通过 SSL/TLS 先进行加密,再进行传输. 基础知识 密码 c ...
- 『TensorFlow』0.x_&_1.x版本框架改动汇总
基本数值运算 除法和模运算符(/,//,%)现在匹配 Python(flooring)语义.这也适用于 [tf.div] 和 [tf.mod].要获取基于强制整数截断的行为,可以使用 [tf.trun ...
- mysql添加字段语句
1.添加 varchar类型的字段: alter table b_warehouse_message add column entity_warehouse_no_test varchar(48) C ...
- Socket中SO_REUSEADDR详解
1.一般来说,一个端口释放后会等待两分钟之后才能再被使用,SO_REUSEADDR是让端口释放后立即就可以被再次使用. SO_REUSEADDR用于对TCP套接字处于TIME_WAIT状态下的sock ...
- 一次完整的http事务的过程
1.域名解析 2.发起TCP三次握手 3.建立TCP连接以后发起http请求 4.服务器端响应请求,浏览器得到html代码 5.浏览器解析html代码并请求html中的资源 6.浏览器对页面进行渲染呈 ...
- Android流媒体开发之路一:Camera2采集摄像头原始数据并手动预览
Android Camera2采集摄像头原始数据并手动预览 最近研究了一下android摄像头开发相关的技术,也看了Google提供的Camera2Basic调用示例,以及网上一部分代码,但都是在Te ...
- 001——使用composer安装ThinkPHP5
composer create-project topthink/think tp5 --prefer-dist
- Python *Mix_w5
1. 字典dict dict 用{}来表示 ,键值对数据{key:value} key具有唯一性 键:都必须是可哈希的,除了列表,不可变的数据类型都可以当做字典中的键 值 没有任何限制 2. 字 ...
- java service 安装
sudo ln -s /var/services/video/video-live.jar /etc/init.d/live-service sudo chmod +x /var/services/v ...