转载自:http://blog.csdn.net/zrc199021/article/details/54020692

关于所在节点核数怎么看?

======================================================================

# 总核数 = 物理CPU个数 X 每颗物理CPU的核数

# 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数

# 查看物理CPU个数

cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l

# 查看每个物理CPU中core的个数(即核数)

cat /proc/cpuinfo| grep "cpu cores"| uniq

# 查看逻辑CPU的个数

cat /proc/cpuinfo| grep "processor"| wc -l

======================================================================

spark资源主要就是core和memery。

spark主题功能分三部分:spark RDD,sparkSQL,spark shell,如果每个部分的功能都要用,那么每块都要占用资源。

其中,spark RDD和spark shell 是动态分配占用资源的,sparkSQL是静态分配资源的(启动后即一直占着分配的资源)

spark分配的总体资源在哪里看?

  1. cat /home/mr/spark/conf/spark-env.sh
  1. JAVA_HOME=/usr/java/jdk
  2. SPARK_HOME=/home/mr/spark
  3. SPARK_PID_DIR=/home/mr/spark/pids
  4. SPARK_LOCAL_DIRS=/data2/zdh/spark/tmp,/data3/zdh/spark/tmp,/data4/zdh/spark/tmp
  5. SPARK_WORKER_DIR=/data2/zdh/spark/work
  6. SPARK_LOG_DIR=/data1/zdh/spark/logs
  7. SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18088-Dspark.history.retainedApplications=500"
  8. SPARK_MASTER_WEBUI_PORT=18080
  9. SPARK_WORKER_WEBUI_PORT=18081
  10. SPARK_WORKER_CORES=25
  11. SPARK_WORKER_MEMORY=150g
  12. SPARK_DAEMON_MEMORY=2g
  13. SPARK_LOCAL_HOSTNAME=`hostname`
  14. YARN_CONF_DIR=/home/mr/yarn/etc/hadoop​

SparkSQL的总体资源在哪看?

  1. [root@vmax47 conf]# cat sparksql-defaults.conf
  2. spark.serializer=org.apache.spark.serializer.KryoSerializer
  3. spark.driver.extraJavaOptions=-Xss32m-XX:PermSize=128M-XX:MaxPermSize=512m
  4. spark.driver.extraClassPath=/home/mr/spark/libext/*
  5. spark.executor.extraClassPath=/home/mr/spark/libext/*
  6. spark.executor.memory=10g
  7. spark.eventLog.enabled=true
  8. spark.eventLog.dir=/data1/zdh/spark/logs/eventLog
  9. spark.history.fs.logDirectory=/data1/zdh/spark/logs/eventLog
  10. spark.worker.cleanup.enabled=true
  11. spark.shuffle.consolidateFiles=true
  12. spark.ui.retainedJobs=200
  13. spark.ui.retainedStages=200
  14. spark.deploy.retainedApplications=100
  15. spark.deploy.retainedDrivers=100
  16. spark.speculation=true
  17. spark.speculation.interval=1000
  18. spark.speculation.multiplier=4
  19. spark.speculation.quantile=0.85
  20. spark.shuffle.service.enabled=false
  21. spark.dynamicAllocation.enabled=false
  22. spark.dynamicAllocation.minExecutors=0
  23. spark.dynamicAllocation.maxExecutors=2147483647
  24. spark.sql.broadcastTimeout=600
  25. spark.yarn.queue=mr
  26. spark.master=spark://vmax47:7077,SPARK49:7077
  27. spark.deploy.recoveryMode=ZOOKEEPER
  28. spark.deploy.zookeeper.url=SPARK49:2181,HADOOP50:2181,vmax47:2181
  29. spark.ui.port=4100
  30. spark.driver.memory=40G
  31. spark.cores.max=30​

查看Spark资源可从18080端口查看:

Spark资源配置(核数与内存)的更多相关文章

  1. Spark内核| 调度策略| SparkShuffle| 内存管理| 内存空间分配| 核心组件

    1. 调度策略 TaskScheduler会先把DAGScheduler给过来的TaskSet封装成TaskSetManager扔到任务队列里,然后再从任务队列里按照一定的规则把它们取出来在Sched ...

  2. Spark Tungsten揭秘 Day4 内存和CPU优化使用

    Spark Tungsten揭秘 Day4 内存和CPU优化使用 今天聚焦于内存和CPU的优化使用,这是Spark2.0提供的关于执行时的非常大的优化部分. 对过去的代码研究,我们会发现,抽象的提高, ...

  3. Spark Tungsten揭秘 Day3 内存分配和管理内幕

    Spark Tungsten揭秘 Day3 内存分配和管理内幕 恭喜Spark2.0发布,今天会看一下2.0的源码. 今天会讲下Tungsten内存分配和管理的内幕.Tungsten想要工作,要有数据 ...

  4. [Spark性能调优] 第四章 : Spark Shuffle 中 JVM 内存使用及配置内幕详情

    本课主题 JVM 內存使用架构剖析 Spark 1.6.x 和 Spark 2.x 的 JVM 剖析 Spark 1.6.x 以前 on Yarn 计算内存使用案例 Spark Unified Mem ...

  5. 【Spark调优】内存模型与参数调优

    [Spark内存模型] Spark在一个executor中的内存分为3块:storage内存.execution内存.other内存. 1. storage内存:存储broadcast,cache,p ...

  6. Spark 1.x 爆内存相关问题汇总及解

    Spark 1.x 爆内存相关问题汇总及解决 OOM # 包括GC Overhead limitjava.lang.OutOfMemoryError # on yarn org.apache.hado ...

  7. spark性能调优(四) spark shuffle中JVM内存使用及配置内幕详情

    转载:http://www.cnblogs.com/jcchoiling/p/6494652.html 引言 Spark 从1.6.x 开始对 JVM 的内存使用作出了一种全新的改变,Spark 1. ...

  8. Spark Shuffle 中 JVM 内存使用及配置内幕详情

      本课主题 JVM 內存使用架构剖析 Spark 1.6.x 和 Spark 2.x 的 JVM 剖析 Spark 1.6.x 以前 on Yarn 计算内存使用案例 Spark Unified M ...

  9. Spark 介绍(基于内存计算的大数据并行计算框架)

    Spark 介绍(基于内存计算的大数据并行计算框架)  Hadoop与Spark 行业广泛使用Hadoop来分析他们的数据集.原因是Hadoop框架基于一个简单的编程模型(MapReduce),它支持 ...

  10. 获取指定订阅下所有Azure ARM虚拟机配置(CPU核数,内存大小,磁盘信息)的使用情况

    脚本内容: <# .SYNOPSIS This script grab all ARM VM VHD file in the subscription and caculate VHD size ...

随机推荐

  1. springboot启动配置原理之二(运行run方法)

    public ConfigurableApplicationContext run(String... args) { StopWatch stopWatch = new StopWatch(); s ...

  2. 《HTTP 权威指南》笔记:第十四章 安全 HTTP

     HTTPS 与 HTTP 不同,其在传输层与应用层之间添加了一个 SSL/TLS 的安全层.机制:所有的 HTTP 请求与响应都要通过 SSL/TLS 先进行加密,再进行传输. 基础知识 密码 c ...

  3. 『TensorFlow』0.x_&_1.x版本框架改动汇总

    基本数值运算 除法和模运算符(/,//,%)现在匹配 Python(flooring)语义.这也适用于 [tf.div] 和 [tf.mod].要获取基于强制整数截断的行为,可以使用 [tf.trun ...

  4. mysql添加字段语句

    1.添加 varchar类型的字段: alter table b_warehouse_message add column entity_warehouse_no_test varchar(48) C ...

  5. Socket中SO_REUSEADDR详解

    1.一般来说,一个端口释放后会等待两分钟之后才能再被使用,SO_REUSEADDR是让端口释放后立即就可以被再次使用. SO_REUSEADDR用于对TCP套接字处于TIME_WAIT状态下的sock ...

  6. 一次完整的http事务的过程

    1.域名解析 2.发起TCP三次握手 3.建立TCP连接以后发起http请求 4.服务器端响应请求,浏览器得到html代码 5.浏览器解析html代码并请求html中的资源 6.浏览器对页面进行渲染呈 ...

  7. Android流媒体开发之路一:Camera2采集摄像头原始数据并手动预览

    Android Camera2采集摄像头原始数据并手动预览 最近研究了一下android摄像头开发相关的技术,也看了Google提供的Camera2Basic调用示例,以及网上一部分代码,但都是在Te ...

  8. 001——使用composer安装ThinkPHP5

    composer create-project topthink/think tp5 --prefer-dist

  9. Python *Mix_w5

    1. 字典dict dict  用{}来表示 ,键值对数据{key:value}  key具有唯一性 键:都必须是可哈希的,除了列表,不可变的数据类型都可以当做字典中的键 值  没有任何限制 2. 字 ...

  10. java service 安装

    sudo ln -s /var/services/video/video-live.jar /etc/init.d/live-service sudo chmod +x /var/services/v ...