Spark源码学习1.3——TaskSetManager.scala

TaskSetManager.scala

TaskSet是指一系列被提交的task，一般是代表特定的stage中丢失的partition。TaskSetManager通过一个TaskSchedulerImpl实体来对TaskSet进行管理。

该方法定义了以下参数：

EXECUTOR_TASK_BLACKLIST_TIMEOUT：executor加入黑名单的时间。如果executor意外终止导致任务执行失败，那么会暂时将这个executor加入黑名单，不再分配任务给它。

SPECULATION_QUANTILE和SPECULATION_MULTIPLIER：推测执行的分位点及推测执行的任务数量。

isZombie：首先，定义TaskSetManager进入zombie状态——TaskSet中至少有一个task运行完成或者整个taskset被抛弃；zombie状态会一直保持到所有的task都执行完成；之所以让TaskSetManager处于zombie状态，是因为这时可以跟踪所有正在运行的task。

pendingTasksForExecutor：Executor的未确定队列中的所有task。这些task实际上以堆的形式存放，新来的task存放在堆尾，而执行错误的任务则会放置在堆头，以此可以察觉重复执行失败的任务。并且这些task还只是简单的清除，当它确定分发给executor时，它只是从这个executor的未确定队列中清除，其他的executor的未确定队列中稍后才清除。类似的参数有pendingTasksForHost和pendingTasksForRack。PS. 在向pending list中插入task时一般是按照逆序，这样序号小的任务就先launch。

currentLocalityIndex和lastLaunchTime：用来定义当前的分配等级（根据数据本地性定义的优先级）以及当前等级下的任务launch的最迟时间。

该文件定义的方法如下：

1、addPendingTask()：该方法依靠本地性优先级将task悬挂到对应的pending list中。

2、findTaskFromList()：该方法获取list中一个可以launch的task，同时清除扫描过的已经执行的task。其实它从第二次开始首先扫描的一定是已经运行完成的task，因此是延迟清除。

3、executorIsBlacklisted()：加入黑名单的executor是否可以运行task？

4、findSpeculativeTask()：从指定的executor中获取可以推测执行的task，然后考虑其本地性优先级，并根据本地性优先级分配task。

5、findTask()：获取指定节点指定优先级的队列中的task。如果所有的task都已经launch了，那么就查询可以推测执行的task。

6、resourceOffer()：向一个只有一个executor的offer提供一个任务。这个方法可以被采用延迟调度的具有最大本地性优先级的任务，或者指定的不可修改的NO_PREF优先级的任务使用。

7、getAllowedLocalityLevel()：根据延迟调度机制和等待时间获取可以launch的task的本地性优先级。

8、getLocalityIndex()：修正错误的本地性优先级。

9、handleSuccessfulTask()和handleFailedTask()：标记已经成功/失败的task，并向DAGScheduler发送同步消息。

10、maybeFinishTaskSet()：标记执行完成的任务。

11、abort()：将意外停止的任务（例如Mesos错误）标记为已完成任务，同时将TaskSetManager的状态置为isZombie。

12、addRunningTask()和removeRunningTask()：添加/删除正在运行的任务。

13、executorLost()：如果executor丢失，那么所有的任务都需要重新在其他的executor上再执行一遍，并通知DAGScheduler这个stage运行失败了。

14、checkSpeculatableTasks()：判断某个任务是否可以启动推测执行。一，该任务必须可以推测执行；二，在大多数任务执行完成后才启动推测执行机制；三，达到门槛值的task放入推测执行任务等待队列中。该方法返回的值是布尔型，表明存在推测执行的任务。

15、computeValidLocalityLevels()：假定所有的任务都已经添加到了pending list中，此时调用该方法计算该TaskSet中所有任务的本地性优先级的使用情况。

16、recomputeLocality()：重新计算本地性优先级使用情况，主要是在添加executor后调用。