Resource Allocation of Yarn

关键词：yarn 资源分配 mapreduce spark

---

简要指南

适合不想看太多原理细节直接上手用的人。

基本原则：

• container分配的内存不等于机器实际用掉的内存。NM给container分配的内存是预留这么多内存，但实际用多少取决于你的-Xmx加上你的堆外内存。大部分堆外内存使用不多的情况下，实际主要就是JVM堆内存。
• container内存是按yarn.scheduler.minimum-allocation-mb的整数倍分配的，用户设置的内存不足整数倍会向上取整，并且不会超过 yarn.scheduler.maximum-allocation-mb 。
• 还有一个增量概念 yarn.scheduler.increment-allocation-mb （默认1024m），即如果yarn.scheduler.minimum-allocation-mb设置较大，假设4g，那客户端申请了4.5G内存，按道理最终container内存是要变成 4+4=8g 的，但有增量内存1024m配置的话，分配内存时会尝试 4+1=5g 是否能满足，从而避免内存资源浪费。
• 所有上线的任务都要手动设置资源配置，尤其是内存。

MapReduce：

• mapreduce.map.memory.mb表示给map的container申请的最大内存，即container内存；mapreduce.map.java.opts则是设置jvm启动的实际参数，其中堆内存-Xmx也是在这里设置，不能超过mapreduce.map.memory.mb，一般设置为0.75倍的mapreduce.map.memory.mb（只是建议，不一定），留给堆外内存一点空间。reduce同理。

Spark 1.x：

关于Spark On YARN相关的配置参数，请参考Spark配置参数。一般主要关注以下几个参数：

• spark.driver.memory：默认值512m
• spark.executor.memory：默认值512m
• spark.yarn.am.memory：默认值512m
• spark.yarn.executor.memoryOverhead：值为executorMemory * 0.07, with minimum of 384
• spark.yarn.driver.memoryOverhead：值为driverMemory * 0.07, with minimum of 384
• spark.yarn.am.memoryOverhead：值为AM memory * 0.07, with minimum of 384

• --executor-memory/spark.executor.memory 控制 executor 的堆的大小，但是 JVM 本身也会占用一定的堆空间，比如内部的 String 或者直接 byte buffer，spark.yarn.XXX.memoryOverhead 属性决定向 YARN 请求的每个 executor 或dirver或am 的额外堆内存大小，默认值为 max(384, 0.07 * spark.executor.memory)。所以实际计算container内存的时候是 memory + memoryOverhead。
• 在 executor 执行的时候配置过大的 memory 经常会导致过长的GC延时，内存并不是越大越好。

spark core分配：

• 默认的yarn.scheduler.capacity.resource-calculator=org.apache.hadoop.yarn.util.resource.DefaultResourseCalculator , 这种时候的vcore会按container个数分配，而不是实际的spark core数。即设置了5个executor，每个executor2个core，实际除去ApplicationMaster和spark driver，最后只有5个vcore。
• 改成org.apache.hadoop.yarn.util.resource.DominantResourceCalculator，上述案例则会变成10个vcore。暂未测试和看代码确定是否能客户端配置生效，一般服务端配置，在ambari里或部分语境下，有时也叫CPU-schedule的ResourceCalculator，相比default版的只考虑memory，dominant的同时考虑了memory和cpu。

Reference（值得一读）：

• [YARN] Yarn下Mapreduce的内存参数理解 - Tang's
• Spark On YARN内存分配 - JavaChen Blog