Yarn调度器负载模拟器——Yarn Scheduler Load Simulator (SLS)

一、概述：

Yarn调度器有很多实现，如Fifo, Capacity和Fair schedulers等。与其同一时候，正在进行一些优化措施来提高调度器在不同负载和工作场景下的性能。每一个调度器都有自己的特性，调度决策受很多因素影响，如公平行、计算能力保证和资源的可靠性等。在部署一个调度算法到生产集群之前。评估一个调度算法是很重要的，不幸的是，评估一个调度算法是不那么easy的，评估一个真正的集群是很耗费时间和成本的。而且很难找到一个足够大的集群用来评測。

所以。一个能够模拟在这样的工作场景和负载下调度器的性能表现的模拟器是很实用的。

Yarn模拟器能够在一台机器上模拟一个大型的集群和大量的应用负载，模拟器对于那些希望深入研究yarn的人员来说是很宝贵的。由于它提供了一个工具：一个新的调度器原型、预測它的行为和性能表现。从而帮助他们高速创新。

Yarn模拟器通过在ResourceManager的jvm中模拟出NodeManagers和ApplicationMasters并处理和分发 NM/AM事件来去除网络因素的影响。为了trace调度器的行为和性能。在真正的调度器外层包裹了一个wrapper。

集群和应用负载能够从配置文件里载入，这些配置文件能够利用 Apache
Rumen 从 job history files中直接生成。

模拟器在运行会产生实时的指标。例如以下所看到的：

1. 整个集群和每一个队列的资源利用率，能够用来配置集群和队列的容量；
2. 具体的用模拟出来的时间记录的应用程序运行记录，能够用来分析、了解和验证程序的行为（个别job的周转时间、吞吐量、公平性和计算能力保证等）；
3. 调度算法的一些关键指标。如：每一个调度操作花费的时间（分配、处理等等），开发人员能够用来找出影响性能和可伸缩性的代码。

二、设计目标：

1. 不用真正的集群和真正的job trace来检查调度器
2. 能够模拟真实的负载

三、结构：

下图说明了模拟器的实现架构：

模拟器获取负载的描写叙述，并获取到集群和应用的信息。对每一个NM and AM，模拟器构造一个模拟器来模拟它们的执行，全部的NM and AM模拟器都在一个线程池中执行。模拟器共用RM，并在调度器外包裹一层wrapper，这个Scheduler
Wrapper能够跟踪Scheduler并产生一些日志。模拟器产生的日志能够用作以后的分析。