10万级etl批量作业自动化调度工具Taskctl之轻量级Web应用版
什么是批量作业:
批量处理是银行业整个信息后台最为重要的技术形态,也是银行核心信息资产数据的分享、传输、演化的重要技术手段。有调查指出,全球70%的数据是经过批量处理得以再次使用,可见批量处理在整个信息生态中的技术占比与重要性。
银行业经过多年的信息化建设,逐步建立起几十甚至几百个信息系统,其中,绝大多数系统后台都具备有不同规模的作业批量处理,总体批量作业数已发展成几千到几万这样的一个庞大规模。随着大数据时代的到来,特别是在数据仓库、大数据平台的带动下,这样的规模还将快速发展,其批量作业数规模也必将产生数量级的增长变化。
银行面对如此多的系统、批量作业数以及可期的快速增长未来,让批量处理最为重要的技术-批量调度走向独立化、系统化、专业化以及平台化,是非常有必要的。批量调度不仅是批量处理的动力中枢,也是整个批量处理的管理入口,因此,建立一个规范专业的批量作业调度技术平台,建立一个统一的批量作业调度运维管理平台,不仅可以从架构层面优化企业整个后台批量体系,减少IT技术异构风险,为数据安全提供更可靠的技术保障,还可以加快具体系统构建速度,提升系统运维效率,降低运维风险。批量调度技术体系的专业化、平台化、统一化,不仅是一个系统建设,更是银行IT基础设施平台的建设,为银行整个IT建设健康高效发展提供坚实的基础。
目前主要实现方式:
目前,由于银行内部缺乏一款专业批量产品支撑,缺乏一定的批量调度规范与标准,使银行内部几十上百个系统相关批量调度实时混乱。这种现象不仅体现在银行不同系统之间,甚至体现在同一系统的不同建设周期之间。
应用系统内置,手工调度调度:
目前,在银行内有很多系统的后台批量处理,无论从后台调度层面,还是前台应用层面,都与业务系统本身高度耦合,而且调度触发启动主要是靠人工发起。造成这种局面的原因一方面是银行缺乏统一的调度规范体系,另一方面,站在整个应用系统的角度,批量调度本身比重不大。这种方案带来的直接后果体现在两个方面:
1.因高度耦合,扩展不易;
2.主要靠人工调度,相对较耗人力资源,而且因人工操作,可能会引入更多人为误操作的风险;
利用现有ETL工具的调度功能
随着银行信息化发展,特别是数据仓库的建立,并以此为基础建立的更多数据类、管理类系统,或多或少都在采用一些专业的ETL工具来实现批量处理,并结合工具本身的调度组件完成相应批量调度处理工作。
关于Taskctl Web应用版
适合中小企业IT自动化类系统建设,如数据系统批量调度自动化、系统运维自动化、企业数据资产监控等等。
适合数据开发人员,大数据从业人员,运维人员学习了解批量作业调度技术
功能特性与授权
是TASKCTL 6.0下一个版本的预览版,具备TASKCTL6.0(官网最新发布版)功能和一些新特性(如工程级变量管理,作业分片执行,微批循环等)。免费授权规格如下表:
(备注:软件未注册,不能实现7*24h连续自动化运行,因此不能用于生产环境。)
应用简介
Taskctl在线应用版V1.2相比C/S应用端功能完整,并精简部分操作逻辑,适合初学者体验taskctl产品,也能作为中小项目生产应用。
安装环境
软件下载部署
- 去公众号【taskctl】回复内容 "领取" 或 "软件" 即可;
- 百度网盘--提取码(97mk);
- 官方网站;
- 软件Taskctl Web应用版;
初识Taskctl-Web版
Taskctl Free应用版原型是在原有商用版Taskctl 6.0衍生扩展开发出的专门为批量作业调度自动化打造的一款完全免费的轻便型敏捷调度工具。可为批量作业自动化调度者提供简单的方法来管理各类复杂作业的调度和监控管理。
Taskctl通过将企业内部复杂的作业调度依赖关系,进行灵活的统一编排和管理,带来前所未有的简单性。Taskctl采用全内存计算,基于全事件技术驱动,可简单、快速地对作业进行定义、编排和执行,并生成优化调度执行建议,从而负载均衡执行作业调度。
Taskctl作为敏捷批量调度的开拓者,产品设计从一开始就专门为整洁的体验而设计,并提供丰富、直观的用户界面,以简化常见的作业调度执行编排流程。
Taskctl-Web应用版遵循软件产品标准化的原则,以“专业、专注”为设计理念,结合 ETL 调度领域自身的特点,构建了一套直观易用的 ETL 控制容器调度设计、监控 、维护、管理平台 Taskctl-Web-Application 。
功能框架
通过上图可以了解到,Taskctl-Web版 是Taskctl 中客户端应用软件家族的重要一员。
有三大功能模块:
- 平台管理( Admin ):平台级T配W置信息管理。如网络节点管理,作业类型扩 展,工程管理,全局变量管理,调度元信息导入导出,用户及权限管理,消息接 口管理等。
- 作业设计( Designer ):作业调度元信息设计。如作业控制容器(定时器 / 作业流)的管理,作业关系、属性编辑,变量管理,作业组织模块管理等。
- 运行监控( Monitor ):作业运行监控维护平台。对设计好的调度元信息进行运行监控以及人工操作干预。对运行信息进行查询、统计、分析等。
系统特性
在 Windows 桌面客户端的基础上, TASKCTL 重新构建了一套基于 web 浏览器的应用 taskctl-web-application 。它具有如下特性:
- 功能完整:实现了桌面客户端 Admin,Designer,Monitor 所有的功能(包括高级分析功能)
- 部署简单:采用安装程序一键部署应用,不需要部署额外的 web 容器
- 体验简介:重新优化图形操作体验,简化操作步骤
- 合理导向:重新组织了页面 UE,让每个操作自然流畅
- 性能卓越:200k 带宽、单核处理器即可实现 10 个用户同时应用
- 稳定可靠:直接与调度服务核心通讯,信息更直接可靠。
登录界面
平台部署的时候,已经确定了调度服务端信息。因此不必再像桌面客户端一样需要输入调度服务端地址。
如上图所示:输入正确的用户名、密码点击“登录”按钮,登录成功后, Taskctl-Web-Application 将根据登录用户进行一系列的初始化操作,加载基本的运 行信息。
主界面
成功登录后,即可进入 taskctl-web-application 平台主界面。系统对各个组件进行了合理的初始化布局,如下图所示:
通过上图,我们可以直观的看到 Taskctl-web-application 具备了传统 web 应用软件的 “街头 banner ”、 “顶部导航”,以及主框架区域。
10万级etl批量作业自动化调度工具Taskctl之轻量级Web应用版的更多相关文章
- 10万级etl调度软件Taskctl-web版免费授权及产品功能特性
转: 10万级etl调度软件Taskctl-web版免费授权及产品功能特性 初识Taskctl-Web版 Taskctl Free应用版原型是在原有商用版Taskctl 6.0衍生扩展开发出的专门为批 ...
- 推荐:国产etl调度工具Taskctl web应用版,0元永久授权
写在前面 2020年疫情席卷全球,更是对整个市场经济造成了严重影响,年初疫情肆虐,西方世界单方面的科技.经济封锁,国际关系吃紧.....导致很多中小型企业业务链受阻,大型企业经费资金吃紧,轮班制导致公 ...
- JAVA Apache POI 之sax 解析10万级大数量数据
第一步让我们来看看我们的大量数据的excel 文件 好的下面第二步看一下代码: package com.chinait.utils; /** * 写这个东西主要是最近做了一个联通的数据迁移工作,他们就 ...
- 调度工具taskctl跨调度服务依赖实现
调度工具taskctl虽然支持分布式调度,但是有的时候,不同重要程度的调度服务还是要区分开来,在区分开后,不同调度服务之间怎么实现依赖啦, 其实有很多方式,比如写文件,写数据库之类的,这些都可以根据用 ...
- ETL作业自动化调度软件TASKCTL4.5安装程序是选项解释
下文仅针对TASKCTL4.5有效,在执行安装程序后,会看到安装程序有4个选项,其中,1和2是需要了解的. 1, 典型安装: 这个选项是单机部署,在第一次使用TASKCTL的时候,我用的是这种安装方式 ...
- 开源作业调度工具实现开源的Datax、Sqoop、Kettle等ETL工具的作业批量自动化调度
1.阿里开源软件:DataX DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL.Oracle等).HDFS.Hive.ODPS.HBase.FTP等各种异构数据源之间稳 ...
- (转)转一份在 51testing 上的讨论——如何测试一个门户网站是否可以支持10万用户同时在线?
转自:http://www.cnblogs.com/jackei/archive/2006/11/16/561846.html 这个帖子的内容比较典型,大家有兴趣可以也思考一下. 先是楼主提出问题: ...
- XSS漏洞自动化攻击工具XSSer
XSS漏洞自动化攻击工具XSSer XSS是Web应用常见的漏洞.利用该漏洞,安全人员在网站注入恶意脚本,控制用户浏览器,并发起其他渗透操作.XSSer是Kali Linux提供的一款自动化XSS ...
- [转帖]单集群10万节点 走进腾讯云分布式调度系统VStation
单集群10万节点 走进腾讯云分布式调度系统VStation https://www.sohu.com/a/227223696_355140 2018-04-04 08:18 云计算并非无中生有的概念, ...
随机推荐
- Bootstrap Blazor 初体验
自微软去年发布blazor以来,我也一直关注着blazor的动态,从net core 3.1 到 net 5,从 server side 到 wasm client , 点点滴滴印证了 blazor ...
- pinpoint部署管理
本次pinpoint安装使用了docker环境安装,需要预先docker运行环境 1.安装docker环境 2.获取pinpoint-docker,安装命令 git clone https://git ...
- Linux 环境编程:dirfd参数 有关解析
背景 在Unix环境编程中,系统提供了很多以at结尾的函数,如openat.fstatat等,而这类函数通常有一个特点,就是形参列表中多了int dirfd 例如: int open(const ch ...
- Android Studio的第一次经历
第一个简单APP的制作是从xml开始的,通过在java新建一个empty activity,并在layout里找到对应的xml文件进行编写.每编写一个xml就要事先新建 一个对应的empty ac ...
- c++ templates 第二版(英文)
关注公众号:红宸笑. 回复:电子书 即可
- C++ 基础 5:多态
1 什么是多态 多态按字面的意思就是多种形态.当类之间存在层次结构,并且类之间是通过继承关联时,就会用到多态. C++ 多态意味着由继承而产生的相关的不同的类,调用重写函数时,会根据实际的对象类型来执 ...
- 《Python3反爬虫原理与绕过实战》作者韦世东
可以用(k1,k2)-k1来设置,如果有重复的key,则保留key1,舍弃key2/打印appleMap{1=Apple{id=1,name=苹果1,money=3.25,num=10},2=Appl ...
- SpringBoot进阶教程(六十五)自定义注解
在上一篇文章<SpringBoot进阶教程(六十四)注解大全>中介绍了springboot的常用注解,springboot提供的注解非常的多,这些注解简化了我们的很多操作.今天主要介绍介绍 ...
- RocketMQ4.x安装部署
1.下载安装包:https://www.apache.org/dyn/closer.cgi?path=rocketmq/4.2.0/rocketmq-all-4.2.0-bin-release.zip ...
- string.contains()
public class test { public static void main(String[] args){ System.out.println("abcde".con ...