Airflow Console: https://github.com/Ryan-Miao/airflow-console Apache Airflow扩展组件, 可以辅助生成dag, 并存储到git仓库. Airflow提供了基于python语法的dag任务管理,我们可以定制任务内容 和任务依赖. 但对于很多数据分析人员来说,操作还是过于复杂. 期望可以 通过简单的页面配置去管理dag. 即本项目提供了一个dag可视化配置管理方案. 如何使用 一些概念 DAG: Airflow原生的dag,

蚂蚁金服数据可视化团队曾经开源了一款G6-Editor,但后来停止了对外支持,学习成本太高 好在后来他们团队的大牛高力结合 React + G6 开源了一个 GG-Editor(其实就是G6-Editor) 不过相关的文档还是太少,实际的使用依然是一个不断摸索的过程... 常见问题: https://github.com/gaoli/GGEditor/issues/130 一.引用 GG-Editor 直接通过 npm 或 yarn 安装依赖 npm install --save gg-edit

最近业务需求,通过拖拽,实现流程编排,包括编排元素中的各种属性,刚开始拿到这个需求,一头雾水啊,找度娘渡了好久,FQ翻了很久,各种博客CSDN搜索,最终技术选型还是定在了jsplumb,这要感谢@萌级小菜鸟在码云上关于jsplumb的贡献了,基于up主的一些封装,我做了一些改造和升级,完全对业务够用,话不多说,先看下效果吧: 简单说明一下功能:写了两个demo,一个简单一些的,一个复杂一些的,包括对拖动节点的设置,限制条件,缩放功能,保存(在控制台可以看数据,项目中使用直接把数据传给后台即可!)

nagios介绍 nagios是一款开源监控的应用,可用于监控本地和远程主机的日志.资源.死活等等诸多功能.通过snmp协议和nrpe协议. nagios的配置文件是由nconf上进行配置,然后点击生成至服务器,上面有各种模板,可以自己配,也可以用现有的. nagios的搭建过程,自行百度. 下面是一个nagios配置文件的样例 nagios配置文件目录结构: # ll /usr/local/nagios/etc/ total 152 -rw-rw-r-- 1 nagios nagios 129

上一篇文章<通用流程设计>对鄙人写的通用流程做了一定的介绍,并奉上了相关源码.但一个好的流程设计必少不了流程设计器的支持,本文将针对<通用流程设计>中的流程的设计器做一个简单的演示.由于鄙人之前对Silverlight并不了解,所以在通过Silverlight写的流程设计器中代码的优化与设计都不尽完美,再次就不对流程设计器的相关代码做分析介绍了.如果您希望得到相关源码请联系邮箱:455274752@qq.com.欢迎加入流程交流群共同交流探讨(QQ群:251834323 注:源码已

前言 微服务对于各位并不陌生,在互联网浪潮下不是在学习微服务的路上,就是在使用改造的路上,每个人对于微服务都有自己理解,有用k8s 就说自己是微服务,有用一些第三方框架spring cloud, dubbo ,abp, nginx,kong就说是微服务的,还有用一些第三放分布式平台去架设部署也认为它是微服务,反正微服务的架设是各种各样,没有定义哪个架构是对的,只要是集大成者,全部用docker, 满足服务发现,服务治理就是微服务.而对于以上架构选择不去评判是对是错.没有一杆称砣去评判是否满足微服

作者:小傅哥 博客:https://bugstack.cn 沉淀.分享.成长,让自己和他人都能有所收获! 一.前言 不踩些坑,根本不是成熟的码农! 你觉得肯德基全家桶是什么?一家人一起吃的桶吗,就那么一点点?不是,肯德基全家桶说的是,鸡的全家桶! 听到这个故事就像有时候我因为需要解决某些问题去搜索.折腾.验证.排除的技术方案,因为方向不对,所以努力也就白费.只能一次次在众多的资料.文档.源码中一点点找到并组合出适合自己的问题场景的技术处理手段. 但这个过程有时候又是必须经历的,很少有时候能一次就

作者:CppExplore   http://www.cppblog.com/CppExplore/和 http://blog.csdn.net/cppexplore同步发布. 近3年没发文章,谨以本文总结我和团队兄弟们3年在业务之外的工作成果. 1 产品目标 降低高性能服务领域开发门槛,提高开发效率,同时解决测试.运维.监控.数据分析中的各类问题. 围绕此目标,sBPM(snda Business Process Management:盛大业务流程管理)将流程管理概念延伸到高性能服务器领域,使

背景   某一天一如既往的上班"旅途"中,我的领导在开早会的时候,说我最近没啥事,于是让我研究一下Activiti工作流引擎与Drools规则引擎,当时也不知道后边具体要做什么,管它的,先看看再说.看了几天后,写了个简单的demo出来,结果发现Activiti这个东西不就是可以用来做流程审批的嘛:最后我们就开始开发基于Activiti的工作流引擎.并且部分功能与定时任务调度中心进行整合,实现了简单的流程编排任务. 因为工作流相关的东西在公司的电脑上,公司对于安全保密性十分严格,所以本文

项目地址: https://github.com/Netflix/conductor Conductor 是 Netflix 受需要运行全球流媒体业务流程的启发,构建的基于云的微服务编排引擎. Conductor 管理工作流,可以暂停和重新启动进程,并使用基于 JSON DSL 的蓝图来定义执行流. 它还具有可视化流程流的用户界面,并可扩展到数百万个并发运行的流程流.

在如今的互联网时代,随着软件开发复杂度的不断提高,软件开发和发布管理也越来越重要.目前已经形成一套标准的流程,最重要的组成部分就是持续集成(Continuous Integration,CI)及持续部署.交付(CD).在此,我们来以一个案例初步了解 CI 流程.那么什么是 CI 呢?简单来讲,CI 就是将传统的代码合并.构建.部署.测试都集成在一起,不断地执行这个过程,并对结果进行反馈. CI 流程设计图: 工作流程: 1. 开发人员提交代码到Git版本仓库:2. Jenkins人工/定时触发项

# 一.聊聊本文想说什么:   为更好帮助商家的会员快速成长,保持用户活性,完善用户的成长体系,有赞用户中心-会员成长团队基于现有的业务场景,设计了一套较完备任务中心系统.同时也有很多通用技术组件能够落地.接下来本文会简单分享下这些常用的技术组件,抛砖引玉.   在开始之前我们会先提几个问题: * 1.任务中心对于普通商户有什么用处? * 2.如何实现任务中心,做到快速接入,扩展性好? * 3.有哪些技术可以结合任务中心一起落地? ## 1.1 我们内部的一些黑话 [![eToqXD.png](

1. CI/CD 1.1 CI - 持续集成 持续集成( Continuous integration , 简称 CI )指的是,频繁地(一天多次)将代码集成到主干.持续集成的目的就是让产品可以快速迭代,同时还能保持高质量.它的核心措施是代码集成到主干之前,必须通过自动化测试.只要有一个测试用例失败,就不能集成.通过持续集成团队可以快速的从一个功能到另一个功能,简而言之,敏捷软件开发很大一部分都要归功于持续集成. 持续集成的组成要素 一个自动构建过程, 从检出代码. 编译构建. 运行测试. 结果

前言 首先,感谢大家对上一篇文章[业务可视化-让你的流程图"Run"起来(5.SpringBoot集成&微服务编排)]的支持. 分享一下近期我对这个项目的一些改进. 在项目中,经常会有一些批处理的定时任务需要配置,目前的java项目一般采用Spring-Batch来作为批处理的平台. 但是Spring-Batch在对Job流程(并行,分支,条件分支,合并等)的支持略显复杂臃肿. 尤其是流程可视化这方面几乎不支持. 所以,最近对ladybugflow做了改进,在天然支持可视化流程

Jbpm4.4+hibernate3.5.4+spring3.0.4+struts2.1.8 整合例子(附完整的请假流程例子). 1.jbpm4.4 测试环境搭建 2.Jbpm4.4+hibernate3.5.4+spring3.0.4+struts2.1. 整合环境搭建 3.jbpm4.4 基础知识 4.整合过程中常见问题的解决 5.请假流程例子( s2sh+jbpm ) 6.总结及参考文章 jbpm4.4测试环境搭建 刚接触 jbpm 第一件事就是快速搭建环境,测试 jbpm 所给的例子. 

前言 数据可视化,是指将相对晦涩的的数据通过可视的.交互的方式进行展示,从而形象.直观地表达数据蕴含的信息和规律. 早期的数据可视化作为咨询机构.金融企业的专业工具,其应用领域较为单一,应用形态较为保守.步入大数据时代,各行各业对数据的重视程度与日俱增,随之而来的是对数据进行一站式整合.挖掘.分析.可视化的需求日益迫切,数据可视化呈现出愈加旺盛的生命力,表现之一就是视觉元素越来越多样,从朴素的柱状图/饼状图/折线图,扩展到地图.气泡图.树图.仪表盘等各式图形.表现之二是可用的开发工具越来越丰富,

airflow 是一个编排.调度和监控workflow的平台,由Airbnb开源,现在在Apache Software Foundation 孵化. airflow 将workflow编排为tasks组成的DAGs,调度器在一组workers上按照指定的依赖关系执行tasks.同时, airflow 提供了丰富的命令行工具和简单易用的用户界面以便用户查看和操作,并且airflow提供了监控和报警 系统 测试运行环境使用docker 基本安装 docker安装 使用别人已经构建好的 puckel/

hello,data! 在进入d3.js之前,我们先用一个小例子回顾一下将数据可视化的基本流程. 任务 用横向柱状图来直观显示以下数据: var data = [10,15,23,78,57,29,34,71]; 简单地思考一下,要完成这个任务有两个问题需要解决: 用什么可视元素来表现横向柱? 数据对应到可视元素的什么属性? 这个不算困难,我们使用HTML的DIV元素来实现,代码参见http://***/course/54fd40cfe564e50d50dcf284/:快速入门第一页 试着改变一

1. airflow 介绍 1.1 airflow 是什么 Airflow is a platform to programmatically author, schedule and monitor workflows. airflow 是一个编排.调度和监控workflow的平台,由Airbnb开源,现在在Apache Software Foundation 孵化.airflow 将workflow编排为tasks组成的DAGs,调度器在一组workers上按照指定的依赖关系执行tasks.

1.GIS地图可视化流程 GIS地图可视化就是将空间数据转化为地图数据再进行交互处理的方法,下图一展示了地图可视化的可编程渲染的典型管道,原始空间数据必须处理为图形API支持基础图元用以地图渲染.下图二展示了一些简单符号的剖分,点符号的基本绘制方法是将其图标转换为纹理资源,并使用两个三角形中的纹理坐标将纹理与点符号绑定.线,面符号的基本绘制方法是直接绘制其剖分后的三角形或梯形,并赋以纹理或颜色以完成绘制. 2 .LOD方法分析 2.1 LOD方法简介 LOD方法的基本思想是依据视觉成像原理即距离

说明 本文主要讨论了巨型复杂业务系统的一种构建思路,力图实现决策意志的快速.准确.一致的下传并简化实施成本提供实施效率.通过全业务领域的即时流程编排,实现全网业务IT系统的快速建设与迭代.本文所讲的方法其应用情景主要面向以业务流程为主的大型业务处理系统如电商系统.尤其适合业务繁杂.业务量巨大且运营灵活多变的应用情景.我们一般要花很长时间并投入很多财力才能打造出一个系统来满足这样的要求,并保持大量的人员来跟进运营的需要.这些系统一般会有数个或数十个乃至上百个应用群构成,具有庞大的层级结构.其中的每