海豚调度调优 | 正在运行的工作流(DAG)如何重新拉起失败的任务(Task)
本系列文章是DolphinScheduler由浅入深的教程，涵盖搭建、二开迭代、核心原理解读、运维和管理等一系列内容。适用于想对 DolphinScheduler了解或想要加深理解的读者。
**祝开卷有益。 **
本系列教程基于 DolphinScheduler 2.0.5 做的优化。（稳定版推荐使用3.1.9）
先抛出问题
1.场景描述
工作流 A 正在运行，里面有很多节点，依赖关系比较复杂。凌晨用户接到报警，a 节点失败了，此时其他分支的任务还在运行。此时工作流是不会是失败的，需要等待其他分支的任务运行结束，整个工作流才会失败。
失败的任务：是失败状态且重试次数用完了。
2.目前的处理流程
目前的做法是，先 kill 工作流，等待工作流变成失败状态，然后再点击恢复失败按钮，即可把失败的节点重新拉起来。
画外音：kill 工作流我也做了优化，后面会有文章介绍，kill之后，工作流会变成失败状态，这样做是为了可以恢复失败。
3.困惑
这种做法会影响正在运行的任务，强制把正在跑的任务 kill 掉，对一些运行时间比较久的任务来说，会降低执行效率。跑的好好的，被干掉了，恢复失败，又得重新跑。
这非常不划算。
优化建议：如何在不停止工作流的情况下，单独把失败的节点重新拉起来呢？
解决方案
后端优化：
分析了工作流启动、停止、恢复失败等操作类型 Master 和 Worker 的原理，打算新增一个操作类型、命令类型枚举值：RUN_FAILED_ONLY。
优化后的大致流程如下：
用户在页面上点击按钮，提交 executeType = RUN_FAILED_ONLY、processInstanceId=xxxx的请求。
API服务收到请求，判断是 RUN_FAILED_ONLY 操作，就封装一个 StateEventChangeCommand 命令，进行RPC请求。
Master服务的 StateEventProcessor 监听到命令，提交给 StateEventResponseService ，它负责找到对应的工作流 WorkflowExecuteThread ，然后把这个stateEvent 给这个 WorkflowExecuteThread.
WorkflowExecuteThread处理 stateEvent，判断这个 stateEvent 的 StateEventType 是 RUN_FAILED_ONLY_EVENT ，进行下面的处理：
找到改工作流失败且重试次数用完的任务列表，然后依次处理它们的执行记录(标记为失效，从失败列表移除，添加到待提交队列），最后提交到等待队列。
后端流程结束。
前端页面优化：
比较简单：新增一个按钮，文案是【重新失败节点】，在工作流列表上展示，用户可以点击。
源码
其中，新增了三个枚举类的值：
org.apache.dolphinscheduler.api.enums.ExecuteType
RUN_FAILED_ONLY
org.apache.dolphinscheduler.common.enums.CommandType
RUN_FAILED_ONLY(44, "run failed only");
org.apache.dolphinscheduler.common.enums.StateEventType
RUN_FAILED_ONLY_EVENT(4, "run failed only event");
几个关键步骤的代码，为了方便查看，上下文的代码、涉及改动的方法也会贴出来。
提示：序号对应上面的流程。
② org.apache.dolphinscheduler.api.service.impl.ExecutorServiceImpl#execute
switch (executeType) {
case REPEAT_RUNNING:
result = insertCommand(loginUser, processInstanceId, processDefinition.getCode(), processDefinition.getVersion(), CommandType.REPEAT_RUNNING, startParams);
break;
case RECOVER_SUSPENDED_PROCESS:
result = insertCommand(loginUser, processInstanceId, processDefinition.getCode(), processDefinition.getVersion(), CommandType.RECOVER_SUSPENDED_PROCESS, startParams);
break;
// 新增 9-11 行代码
case RUN_FAILED_ONLY:
result = sendRunFailedOnlyMsg(processInstance, CommandType.RUN_FAILED_ONLY);
break;
case START_FAILURE_TASK_PROCESS:
result = insertCommand(loginUser, processInstanceId, processDefinition.getCode(), processDefinition.getVersion(), CommandType.START_FAILURE_TASK_PROCESS, startParams);
break;
case STOP:
if (processInstance.getState() == ExecutionStatus.READY_STOP) {
putMsg(result, Status.PROCESS_INSTANCE_ALREADY_CHANGED, processInstance.getName(), processInstance.getState());
} else {
result = updateProcessInstancePrepare(processInstance, CommandType.STOP, ExecutionStatus.READY_STOP);
}
break;
case PAUSE:
if (processInstance.getState() == ExecutionStatus.READY_PAUSE) {
putMsg(result, Status.PROCESS_INSTANCE_ALREADY_CHANGED, processInstance.getName(), processInstance.getState());
} else {
result = updateProcessInstancePrepare(processInstance, CommandType.PAUSE, ExecutionStatus.READY_PAUSE);
}
break;
default:
logger.error("unknown execute type : {}", executeType);
putMsg(result, Status.REQUEST_PARAMS_NOT_VALID_ERROR, "unknown execute type");
break;
}
sendRunFailedOnlyMsg 方法的逻辑，封装 stateEventChangeCommand，提交 RPC 请求。
/**
* send msg to master, run failed only
*
* @param processInstance process instance
* @param commandType command type
* @return update result
*/
private Map<String, Object> sendRunFailedOnlyMsg(ProcessInstance processInstance, CommandType commandType) {
Map<String, Object> result = new HashMap<>();
String host = processInstance.getHost();
String address = host.split(":")[0];
int port = Integer.parseInt(host.split(":")[1]);
StateEventChangeCommand stateEventChangeCommand = new StateEventChangeCommand(
processInstance.getId(), 0, processInstance.getState(), processInstance.getId(), 0,StateEventType.RUN_FAILED_ONLY_EVENT
);
stateEventCallbackService.sendResult(address, port, stateEventChangeCommand.convert2Command());
putMsg(result, Status.SUCCESS);
return result;
}
这里也给 StateEventChangeCommand 家了一个状态类型的字段，对应枚举类：StateEventType
方便下游判断状态。
查看下面 ③ 处的代码，用这个状态赋值给 stateEvent 的 type。
③ org.apache.dolphinscheduler.server.master.processor.StateEventProcessor#process 用上面 ② 处的 StateEventType，赋值给 stateEvent 的 type，然后提交给 stateEventResponseService 的 BlockingQueueeventQueue 队列。
@Override
public void process(Channel channel, Command command) {
Preconditions.checkArgument(CommandType.STATE_EVENT_REQUEST == command.getType(), String.format("invalid command type: %s", command.getType()));
StateEventChangeCommand stateEventChangeCommand = JSONUtils.parseObject(command.getBody(), StateEventChangeCommand.class);
StateEvent stateEvent = new StateEvent();
stateEvent.setKey(stateEventChangeCommand.getKey());
if (stateEventChangeCommand.getSourceProcessInstanceId() != stateEventChangeCommand.getDestProcessInstanceId()) {
stateEvent.setExecutionStatus(ExecutionStatus.RUNNING_EXECUTION);
} else {
stateEvent.setExecutionStatus(stateEventChangeCommand.getSourceStatus());
}
stateEvent.setProcessInstanceId(stateEventChangeCommand.getDestProcessInstanceId());
stateEvent.setTaskInstanceId(stateEventChangeCommand.getDestTaskInstanceId());
// TODO 修改
StateEventType stateEventType = stateEventChangeCommand.getStateEventType();
if (stateEventType != null){
stateEvent.setType(stateEventType);
}else {
StateEventType type = stateEvent.getTaskInstanceId() == 0 ? StateEventType.PROCESS_STATE_CHANGE : StateEventType.TASK_STATE_CHANGE;
stateEvent.setType(type);
}
logger.info("received command : {}", stateEvent);
stateEventResponseService.addResponse(stateEvent);
}
StateEventResponseWorker 线程一直扫描这个队列，拿到 stateEvent，找到要处理的工作流对应的 WorkflowExecuteThread 线程，把这个事件提交给 WorkflowExecuteThread 线程。
/**
* task worker thread
*/
class StateEventResponseWorker extends Thread {
@Override
public void run() {
while (Stopper.isRunning()) {
try {
// if not task , blocking here
StateEvent stateEvent = eventQueue.take();
persist(stateEvent);
} catch (InterruptedException e) {
logger.warn("persist task error", e);
Thread.currentThread().interrupt();
break;
}
}
logger.info("StateEventResponseWorker stopped");
}
}
private void persist(StateEvent stateEvent) {
try {
if (!this.processInstanceMapper.containsKey(stateEvent.getProcessInstanceId())) {
writeResponse(stateEvent, ExecutionStatus.FAILURE);
return;
}
WorkflowExecuteThread workflowExecuteThread = this.processInstanceMapper.get(stateEvent.getProcessInstanceId());
workflowExecuteThread.addStateEvent(stateEvent);
writeResponse(stateEvent, ExecutionStatus.SUCCESS);
} catch (Exception e) {
logger.error("persist event queue error, event: {}", stateEvent, e);
}
}
④WorkflowExecuteThread 内部循环扫描事件列表。
private void handleEvents() {
while (!this.stateEvents.isEmpty()) {
try {
StateEvent stateEvent = this.stateEvents.peek();
if (stateEventHandler(stateEvent)) {
this.stateEvents.remove(stateEvent);
}
} catch (Exception e) {
logger.error("state handle error:", e);
}
}
}
stateEventHandler 处理 RUN_FAILED_ONLY_EVENT 类型的事件，处理方法是：runFailedHandler
private boolean stateEventHandler(StateEvent stateEvent) {
logger.info("process event: {}", stateEvent.toString());
if (!checkStateEvent(stateEvent)) {
return false;
}
boolean result = false;
switch (stateEvent.getType()) {
case RUN_FAILED_ONLY_EVENT:
result = runFailedHandler(stateEvent);
break;
case PROCESS_STATE_CHANGE:
result = processStateChangeHandler(stateEvent);
break;
case TASK_STATE_CHANGE:
result = taskStateChangeHandler(stateEvent);
break;
case PROCESS_TIMEOUT:
result = processTimeout();
break;
case TASK_TIMEOUT:
result = taskTimeout(stateEvent);
break;
default:
break;
}
if (result) {
this.stateEvents.remove(stateEvent);
}
return result;
}
runFailedHandler 的内部逻辑如下：找到改工作流失败且重试次数用完的任务列表，然后依次处理它们的执行记录(标记为失效，从失败列表移除，添加到待提交队列），最后提交到等待队列。
private boolean runFailedHandler(StateEvent stateEvent) {
try {
logger.info("process:{} will do {}", processInstance.getId(), stateEvent.getExecutionStatus());
// find failed tasks with max retry times and init these tasks
List<Integer> failedList = processService.queryTaskByProcessIdAndStateWithMaxRetry(processInstance.getId(), ExecutionStatus.FAILURE);
logger.info("run failed task size is : {}", failedList.size());
for (Integer taskId : failedList) {
logger.info("run failed task id is : {}", taskId);
TaskInstance taskInstance = processService.findTaskInstanceById(taskId);
taskInstance.setFlag(Flag.NO);
// remove it from errorTaskList
errorTaskList.remove(Long.toString(taskInstance.getTaskCode()));
processService.updateTaskInstance(taskInstance);
// submit current task nodes
if (readyToSubmitTaskQueue.contains(taskInstance)) {
continue;
}
logger.info("run failed task ，submit current task nodes : {}", taskInstance.toString());
addTaskToStandByList(taskInstance);
}
submitStandByTask();
// updateProcessInstanceState();
} catch (Exception e) {
logger.error("process only run failed task error:", e);
}
return true;
}
最终效果
再次回到文章开头的场景：
工作流 A 正在运行，里面有很多节点，依赖关系比较复杂。凌晨用户接到报警，a 节点失败了，此时其他分支的任务还在运行。
此时用户可以直接点击【重新拉起失败任务】按钮，失败的任务就会重新进入等待队列，后续流程就像任务正常运行一样，也会继续拉起下游任务。
画外音：本次优化简化了失败任务运维的复杂度，提高了效率。
作者从1.x开始使用海豚调度，那是还叫做 Easy Scheduler，是一个忠实用户，我们基于 2.x版本做了很多内部的改造，后续会分享出来，同样社区也推荐大家使用3.1.9版本，这是相对比较稳定的版本。
本文由 白鲸开源 提供发布支持！
海豚调度调优 | 正在运行的工作流(DAG)如何重新拉起失败的任务(Task)的更多相关文章
- kube-scheduler 调度调优
文章转载自:https://www.kuboard.cn/learning/k8s-advanced/schedule/tuning.html kube-scheduler 是 Kubernetes ...
- SQL Server 性能调优 之运行计划（Execution Plan）调优
运行计划中的三种 Join 策略 SQL Server 存在三种 Join 策略:Hash Join,Merge Join,Nested Loop Join. Hash Join:用来处理没有排过序/ ...
- hadoop MapReduce - 从作业、任务（task）、管理员角度调优
Hadoop为用户作业提供了多种可配置的参数,以允许用户根据作业特点调整这些参数值使作业运行效率达到最优. 一 应用程序编写规范 1.设置Combiner 对于一大批MapReduce ...
- Spark 调优
资源调优 (1). 在部署 spark 集群中指定资源分配的默认参数 在 spark 安装包的 conf 下的 spark-env.sh SPARK_WORKER_CORES SPARK_WORKER ...
- PHP 性能分析第三篇: 性能调优实战
注意:本文是我们的 PHP 性能分析系列的第三篇,点此阅读 PHP 性能分析第一篇: XHProf & XHGui 介绍 ,或 PHP 性能分析第二篇: 深入研究 XHGui. 在本系列的 ...
- Cloudera Hadoop 5& Hadoop高阶管理及调优课程(CDH5,Hadoop2.0,HA,安全,管理,调优)
1.课程环境 本课程涉及的技术产品及相关版本: 技术 版本 Linux CentOS 6.5 Java 1.7 Hadoop2.0 2.6.0 Hadoop1.0 1.2.1 Zookeeper 3. ...
- 【Spark】Sparkstreaming-性能调优
Sparkstreaming-性能调优 Spark Master at spark://node-01:7077 sparkstreaming 线程 数量_百度搜索 streaming中partiti ...
- Spark的job调优（1）
本文翻译之cloudera的博客,本系列有两篇,第二篇看心情了 概论 当我们理解了transformation,action和rdd后,我们就可以写一些基础的spark的应用了,但是如果需要对应用进行 ...
- Spark性能优化：shuffle调优
调优概述 大多数Spark作业的性能主要就是消耗在了shuffle环节,因为该环节包含了大量的磁盘IO.序列化.网络数据传输等操作.因此,如果要让作业的性能更上一层楼,就有必要对shuffle过程进行 ...
- JVM 调优之 Eclipse 启动调优实战
本文是我12年在学习<深入理解Java虚拟机:JVM高级特性与最佳实践>时,做的一个 JVM 简单调优实战笔记,版本都有些过时,不过调优思路和过程还是可以分享给大家参考的. 环境基础配置 ...
随机推荐
- C# 8字节byte数组转int
对方是协议 对于整型.长整型等数据类型,Big endian 认为第一个字节是最高位字节(按照从低地址到高地址的顺序存放数据的高位字节到低位字节):而 Little endian 则相反,它认为第一个 ...
- Python优雅遍历字典删除元素的方法
在Python中,直接遍历字典并在遍历过程中删除元素可能会导致运行时错误,因为字典在迭代时并不支持修改其大小.但是,我们可以通过一些方法间接地达到这个目的. 1.方法一:字典推导式创建新字典(推荐) ...
- bs4解析-优美图库
import requests from bs4 import BeautifulSoup url = 'http://www.umeituku.com/bizhitupian/meinvbizhi/ ...
- InvocationTargetException和UndeclaredThrowableException异常介绍
今天来介绍了两个陌生又熟悉的异常类,熟悉是因为我们经常会遇到它们,陌生是好像又从来不知道它们是做什么的 假定读者已经清楚了Java的异常分类: 一是程序不能处理的错误(Error), 二是程序应该避免 ...
- Spark3学习【基于Java】1. Spark-Sql入门程序
spark-sql是用来处理结构化数据的模块,是入门spark的首要模块. 技术的学习无非就是去了解它的API,但是Spark有点难,因为它的例子和网上能搜到的基本都是Scala写的.我们这里使用Ja ...
- Spring里面bean的生命周期里面的init和destroy方法
package net.cybclass.sp; import net.cybclass.sp.domain.Video; import net.cybclass.sp.domain.Video2; ...
- ASP.NET Core中创建中间件的几种方式
前言 今天我们一起来盘点一下在ASP.NET Core应用程序中添加和创建中间件常见的四种方式. 中间件介绍 ASP.NET Core中间件(Middleware)是用于处理HTTP请求和响应的组件, ...
- leetcode中等(字符串)：[3, 6, 8, 49, 179, 299, 524, 539, 609, 648]
目录 3. 无重复字符的最长子串 6. Z 字形变换 8. 字符串转换整数 (atoi) 49. 字母异位词分组 179. 最大数 299. 猜数字游戏 524. 通过删除字母匹配到字典里最长单词 5 ...
- [oeasy]python0086_ASCII_出现背景_1963年_DEC_PDP系列主机_VT系列终端
编码进化 回忆上次内容 上次 回顾了 字符编码的新陈代谢 ibm 曾经的EBCDIC 由于 字符不连续 导致 后续 出现无数问题 随着 网络的发展 数据交换的 需要 原来的小隐患 现在 产生了 巨大问 ...
- CF479C 题解
洛谷链接&CF 链接 题目简述 一个人想要安排期末考试的时间. 有 \(n\) 场考试,每场考试有两个时间 \(x_i,y_i\),一个是老师规定的时间,另外一个是他与老师商量好的考试时间. ...