https://netflix.github.io/conductor/

https://github.com/Netflix/conductor

编译版: https://jcenter.bintray.com/com/netflix/conductor/

-----------------------------------------------------

Motivation

我们建立了Conductor,以帮助我们在Netflix上编制基于微服务的流程,具有以下特点:

  • 允许创建复杂的流程/业务流程,其中单个任务由微服务器实现。
  • 基于JSON DSL的蓝图(blueprint)定义了执行流程。
  • 为这些流程提供可见性和可追溯性。
  • 围绕暂停,恢复,重新启动等方式展现控制语义,从而实现更好的体验。
  • 允许更多地重用现有的微服务器,为onboarding提供更简单的路径。
  • 用户界面可视化流程。
  • 能够在需要时同步处理所有任务。
  • 能够扩展数以百万计的同时运行的流程。
  • 由客户抽象的排队服务支持。
  • 能够在HTTP或其他传输(如gRPC)上运行。

Why not peer to peer choreography?

通过对等任务编排,我们发现随着业务需求和复杂性的增长难以扩展。 Pub / sub模式为最简单的流程工作,但很快突出了与该方法相关的一些问题:

  • 流程在多个应用程序的代码中被“嵌入”。
  • 通常,关于输入/输出,SLA等的紧耦合和假设,使其难以适应不断变化的需求。
  • 几乎没有办法系统地回答“我们对过程X做了多少工作”?

API和存储层可插拔,并提供与不同后台和队列服务提供者合作的能力。

-----------------------------------------------------------------------------------------------

git clone git@github.com:Netflix/conductor.git

启动server

方法1:进入server目录
执行../gradlew server
此命令会自动下载gradle
此脚本最终执行的是如下命令

(java -Dorg.gradle.appname=gradlew -classpath /root/conductor/gradle/wrapper/gradle-wrapper.jar org.gradle.wrapper.GradleWrapperMain server)

方法2: 手动下载gradle工具,进入server目录

gradle build

进入/root/conductor/server/build/libs 目录下

java -jar conductor-server-VERSION-all.jar

实现此接口

https://github.com/Netflix/conductor/blob/dev/client/src/main/java/com/netflix/conductor/client/worker/Worker.java

例子:

https://github.com/Netflix/conductor/blob/dev/client/src/main/java/com/netflix/conductor/client/task/WorkflowTaskCoordinator.java

https://github.com/Netflix/conductor/blob/dev/client/src/test/java/com/netflix/conductor/client/sample/SampleWorker.java

启动ui:

cd ui
gulp watch
访问 http://localhost:3000/运行模式:
conductor遵循基于RPC的通信模式,其中worker与server在单独的机器上运行。 worker通过基于HTTP的端点与服务器通信,并使用轮询模型来管理工作队列。

worker是远程系统,并通过HTTP(或任何支持的RPC机制)与conductor server进行通信。
     任务队列用于为worker安排任务。 我们在内部使用了dyno-queue,但是它可以很容易地与SQS或类似的pub-sub机制进行交换。
     conductor重新持久化模块使用Dynomite存储状态和元数据以及Elasticsearch用于索引后端。
     请参阅扩展后端部分,以实现对不同数据库的支持以进行存储和索引。

要注册并执行新工作流所需的步骤:

1. 定义工作流的任务定义。
2. 创建工作流定义
3. 创建定期轮询调度任务的任务worker.

触发工作流执行

POST /workflow/{name}
{
... //json payload as workflow input
}
轮询任务
GET /tasks/poll/batch/{taskType}

更新任务状态
POST /tasks
{
"outputData": {
"encodeResult":"success",
"location": "http://cdn.example.com/file/location.png"
//any task specific output
},
"status": "COMPLETED"
}

工作流定义:

工作流使用以DSL为基础的JSON定义的,包括一组要执行的任务,这些任务组成了工作流,任务是远程机器上的控制任务(fork, conditional等等),

或应用程序任务(e.g. encode a file)

任务定义:

所有的任务必须在活动的工作流使用之前注册.

一个任务可以被多个工作流重复使用,任务分成两类:

  • System Task
  • Worker Task

System Tasks:

系统任务在Conductor服务器的JVM内执行,由Conductor管理,用于其执行和可扩展性。

DYNAMIC : 基于对任务的输入表达式导出的工作任务,而不是静态定义为blueprint的一部分

DECIDE:决策任务 - 实现案例...开关式fork

FORK:fork一组并行的任务。 每组计划并行执行

FORK_JOIN_DYNAMIC:FORK_JOIN_DYNAMIC与FORK类似,但不是并行执行blueprint中定义的任务集,基于此任务的输入表达式生成并行任务

JOIN:完成FORK和FORK_JOIN_DYNAMIC。 用于合并更多的并行分支*

SUB_WORKFLOW: 将另一个工作流作为子工作流任务。 执行后,实例化子工作流程,等待完成

EVENT:在支持的事件系统(例如conductor,SQS)中产生事件

conductor提供了一个API来创建在与引擎相同的JVM中执行的用户定义的任务。 有关详细信息,请参阅WorkflowSystemTask界面。

Worker Tasks

worker tasks由应用程序实现,并在独立于Conductor的环境中运行。 worker tasks可以用任何语言实现。 这些任务通过REST API端点与Conductor服务器进行通信,以轮询任务并在执行后更新其状态。

worker tasks由blueprint中的任务类型SIMPLE标识。

Lifecycle of a Workflow Task

												

conductor介绍的更多相关文章

  1. 五、OpenStack—nova组件介绍与安装

    一.nova介绍 Nova 是 OpenStack 最核心的服务,负责维护和管理云环境的计算资源.OpenStack 作为 IaaS 的云操作系统,虚拟机生命周期管理也就是通过 Nova 来实现的. ...

  2. OpenStack 图形化服务 Horizon介绍和部署(十二)

    Horizon介绍 Horizon是一个web接口,使得云平台管理员以及用户可以管理不同的OpenStack资源以及服务. 提供一个Web界面操作OpenStack系统 使用Django框架基于Ope ...

  3. OpenStack 计算服务 Nova介绍和控制节点部署(七)

    介绍 Nova是openstack最早的两块模块之一,另一个是对象存储swift.在openstack体系中一个叫做计算节点,一个叫做控制节点.这个主要和nova相关,我们把安装为计算节点nova-c ...

  4. 【ironic】ironic介绍与原理

    [ironic]ironic介绍与原理 零,配置文件 0.1 配置驱动 文件ironic.conf, ipmi硬件类型,默认值也是ipmi, pxe_ipmitool驱动也是默认值,配置驱动 [DEF ...

  5. 【WPF on .NET Core 3.0】 Stylet演示项目 - 简易图书管理系统(3) - 使用Conductor切换页面

    前两章中, 我们已经实现了这个图书管理系统的登录窗口, 并实施了完善的单元测试. 该是时候回过头来关注我们的主窗口了. 一个功能丰富的系统一般会有多个页面, 我们图书管理系统虽然是"简易&q ...

  6. netflix conductor 2.x 版本新功能简单说明

    netflix conductor 2.x 已经发布很长时间了,同时官方也发布了关于2.x 新特性的说明,当前github 行的release 版本为2.14.4 新特性 grpc 框架支持 一个可选 ...

  7. CSS3 background-image背景图片相关介绍

    这里将会介绍如何通过background-image设置背景图片,以及背景图片的平铺.拉伸.偏移.设置大小等操作. 1. 背景图片样式分类 CSS中设置元素背景图片及其背景图片样式的属性主要以下几个: ...

  8. MySQL高级知识- MySQL的架构介绍

    [TOC] 1.MySQL 简介 概述 MySQL是一个关系型数据库管理系统,由瑞典MySQL AB公司开发,目前属于Oracle公司. MySQL是一种关联数据库管理系统,将数据保存在不同的表中,而 ...

  9. Windows Server 2012 NIC Teaming介绍及注意事项

    Windows Server 2012 NIC Teaming介绍及注意事项 转载自:http://www.it165.net/os/html/201303/4799.html Windows Ser ...

随机推荐

  1. asp.net 退出登陆(解决退出后点击浏览器后退问题仍然可回到页面问题)

    代码如下: Session.Abandon(); Response.Redirect("Login.aspx"); 但是这样点点击浏览器的后退仍然可以回到刚才的页面,这可不行,在网 ...

  2. 实际用户ID和有效用户ID (一) *****

    在Unix进程中涉及多个用户ID和用户组ID,包括如下: 1.实际用户ID和实际用户组ID:标识我是谁.也就是登录用户的uid和gid,比如我的Linux以simon登录,在Linux运行的所有的命令 ...

  3. a标签不用点击模拟跳转url。

    因为请求到数据前要判断用户是否是登录状态, 所以就想页面数据请求成功,就跳转到登录页面, 就用了location.href = url. 结果因为同源策略不能访问, 没想到a标签竟然可以直接跳转这个U ...

  4. antd在线换肤定制功能

    最近react项目,用的antd框架,然后看见他的antdPro例子里面有个定制功能很帅,老大说做,那就做吧,鼓捣了一晚终于实现了. 先看预览效果吧 css换肤 入行前端的时候经常看鱼哥(张鑫旭)的博 ...

  5. [转]C#API 实现锁屏+关屏

    http://www.cnblogs.com/1971ruru/archive/2010/05/20/1740216.html public Form1( bool aLock ) { if (aLo ...

  6. Ubuntu14.04下hadoop-2.6.0单机配置和伪分布式配置

    需要重新编译的教程:http://blog.csdn.net/ggz631047367/article/details/42460589 在Ubuntu下创建hadoop用户组和用户 hadoop的管 ...

  7. Hibernate 零散知识点

    1 get方法和load方法查询时的区别: 如果在缓存中没有找到相应的对象,get会直接访问数据库并返回一个完全初始化的对象,过程中可能涉及多次数据库调用:而load会返回一个代理对象,只有在对象ge ...

  8. 从线性回归到CNN【转】

    原地址:http://zhangliliang.com/2014/06/14/from-lr-to-cnn/ csdn:    http://blog.csdn.net/t0903/article/d ...

  9. php 数组随机取值

    array_rand()在你想从数组中取出一个或多个随机的单元时相当有用.它接受 input 作为输入数组和一个可选的参数 num_req,指明了你想取出多少个单元 - 如果没有指定,默认为 1. a ...

  10. 你的GAN训练得如何--GAN 的召回率(多样性)和精确率(图像质量)方法评估

    生成对抗网络(GAN)是当今最流行的图像生成方法之一,但评估和比较 GAN 产生的图像却极具挑战性.之前许多针对 GAN 合成图像的研究都只用了主观视觉评估,一些定量标准直到最近才开始出现.本文认为现 ...