2022年11月7日,Taier1.3版本正式发布!

Taier 是一个大数据分布式可视化的DAG任务调度系统,旨在降低ETL开发成本、提高大数据平台稳定性,大数据开发人员可以在 Taier 直接进行业务逻辑的开发,而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现,将工作的重心更多地聚焦在业务之中。

Taier自今年2月份开源之后,得到了社区开发者的广泛支持,我们积极吸收社区开发者的意见建议,不断迭代版本,目前已发布了Taier1.1、Taier1.2这两个大的版本更新。

本次发布的Taier1.3版本,我们新增了Flink Standalone组件,融合了DataSourceX的模块,并新增了Python、Shell、ClickHouse、Doris SQL等多种任务,任务数据源绑定,任务支持指定队列运行,并进行了部署优化,同时对官网社区的UI进行了全新的升级改造。

目前新版本已在Github与Gitee上线,同时使用文档也在社区推送,大家可以随时下载查阅,欢迎大家前往体验(喜欢我们的项目欢迎大家点个Star),体验地址:

Github:

https://github.com/DTStack/Taier

Gitee:

https://gitee.com/dtstack_dev_0/taier

社区官网:

https://dtstack.github.io/Taier/

同时为了方便没有钉钉的开发者们更好的交流Taier开源技术,我们新建了Taier开源技术微信交流群,欢迎大家加入一起探讨开源技术~

Taier1.3版本详解

01 新增Flink Standalone

新增Flink Standalone组件,可以通过Flink Standalone使用Flink SQL、数据同步、实时采集等任务相关功能。移除Taier对Hadoop组件的强依赖,支持轻量化的数据处理。

02 DataSourceX融合

Taier融合DataSourceX模块,移除Taier外部插件依赖。新增数据源插件相关特性,支持后续Taier对接更多的RDBMS类型的SQL任务。

03 新增Python、Shell任务

新增Script组件,支持Python、Shell任务类型,可以在Taier上通过脚本类型任务进行操作。

04 新增ClickHouse、Doris SQL任务

新增ClickHouse、Doris SQL任务类型,支持数据同步脚本模式到ClickHouse、Doris,再进行任务调度处理。

05 任务数据源绑定

控制台组件移除SQL类型组件配置,SQL任务直接和数据源互相绑定,支持任务和数据源一对一的执行,将SQL执行域细分到具体的单个数据源。

06 任务支持指定队列运行

Hadoop类型任务支持指定队列运行,队列资源隔离细分到任务级别。

07 部署优化

Taier优化单机部署,优化前后端部署操作,简化docker镜像部署流程,降低上手难度。

08 官网升级

Taier社区新官网上线,UI设计全面升级。

后续版本规划

Taier今年更新了3个大的版本,按照社区规划,后续版本我们计划重点围绕关键点:

● 完善Taier Datasource 模板支持SQL任务

● HadoopMR、Spark Jar、PySpark 任务支持

● 任务告警

● Windows开发环境适配

我们欢迎社区的开发者们一起参与到Taier的版本建设中来,同时大家如果有其他的意见建议也可以给我们提一个Issue或者PR,大家可以来一起探讨怎么更好的共建项目。感兴趣的小伙伴们可以加入我们的技术交流社群,一起交流Taier的技术问题及难点,共建Taier!

袋鼠云开源框架钉钉技术交流qun(30537511),欢迎对大数据开源项目有兴趣的同学加入交流最新技术信息,开源项目库地址:https://github.com/DTStack/Taier

官宣!Taier1.3新版本正式发布,新鲜功能抢先体验的更多相关文章

  1. 官宣 | Apache Flink 1.12.0 正式发布,流批一体真正统一运行!

    官宣 | Apache Flink 1.12.0 正式发布,流批一体真正统一运行! 原创 Apache 博客 [Flink 中文社区](javascript:void(0) 翻译 | 付典 Revie ...

  2. 官宣 ! 52abp_Pro版本低调上线

    上线了 官宣!官宣!官宣! 重要的事情说三次. 是的,你没有看错 https://www.52abp.com/ 的官方企业模板:52abp-pro已经正式上线. 至此52abp.com的官方网站就算告 ...

  3. Kubernetes 1.13 正式发布,功能亮点一览!

    Kubernetes 1.13 正式发布,功能亮点一览!   Kubernetes 1.13 正式GA,这是2018年发布的第四次也是最后一次大版本,1.13也是迄今为止发行最快的版本,仅用10周时间 ...

  4. TPCx-BB官宣最新世界纪录,阿里巴巴计算力持续突破

    2019年9月17日,TPC官宣Alibaba Cloud MaxCompute认证结果.同月26日,杭州云栖大会阿里巴巴宣布了这一成绩,飞天大数据平台计算引擎MaxCompute成为全球首个TPCx ...

  5. 官宣.NET 6 预览版4

    我们很高兴发布 .NET 6 Preview 4.我们现在大约完成了 .NET 6 发布的一半.现在是一个很好的时机,可以再次查看.NET6的完整范围.许多功能都接近最终形式,而其他功能将很快推出,因 ...

  6. [刘阳Java]_Web前端入门级练习_迅雷官宣网设计

    也有一段时间没有写一些技术专题文章,今天给大家来几篇Web前端入门级练习的文章.主讲<迅雷官宣网>的设计,相信大家平时也用过迅雷这个下载工具,所以分享的这篇技术大家在一定程序会感兴趣. 先 ...

  7. Spring官宣网传大漏洞,并提供解决方案

    Spring沦陷了!这样的标题这几天是不是看腻了?然而,仔细看看都是拿着之前的几个毫不相干的CVE来大吹特吹.所以,昨天发了一篇关于最近网传的Spring大漏洞的文章,聊了聊这些让人迷惑的营销文.以及 ...

  8. 痞子衡嵌入式:国内外串行NOR Flash厂商官网Cross Reference功能使用体验

    大家好,我是痞子衡,是正经搞技术的痞子.今天痞子衡给大家讲的是国内外串行NOR Flash厂商官网Cross Reference功能. 串行 NOR Flash 是一个相对发展稳定的市场,目前全球市场 ...

  9. JDK 1.7 正式发布,Oracle 官宣免费提供!“新版任你发,我用JDK 8”或成历史?

    Oracle公司JDK 17正式发布,JDK 17属于长期支持(LTS)版本,也就是获得8年的技术支持,自2021年9月至2029年9月截止. JDK 17版本更新了很多比较实用的新特性,关于此版本的 ...

  10. 官宣!ElasticJob 3.0.0 版本正式发布

    ElasticJob 是面向互联网生态和海量任务的分布式调度解决方案,由两个相互独立的子项目 ElasticJob-Lite 和 ElasticJob-Cloud 组成.它通过弹性调度.资源管控.以及 ...

随机推荐

  1. BUUCTF---这是Base??

    题目 dict:{0: 'J', 1: 'K', 2: 'L', 3: 'M', 4: 'N', 5: 'O', 6: 'x', 7: 'y', 8: 'U', 9: 'V', 10: 'z', 11 ...

  2. 深入理解Hadoop读书笔记-4

    背景 公司的物流业务系统目前实现了使用storm集群进行过门事件的实时计算处理,但是还有一个需求,我们需要存储每个标签上传的每条明细数据,然后进行定期的标签报表统计,这个是目前的实时计算框架无法满足的 ...

  3. 【硬件】认识和选购多核CPU

    2.1 认识和选购多核CPU CPU在电脑系统中就像人的大脑一样,是整个电脑系统的指挥中心,电脑的所有工作都由CPU进行控制和计算.它的主要功能是负责执行系统指令,包括数据存储.逻辑运算.传输控制.输 ...

  4. 《Python基础教程》第三版语录

    对程序的结构(如需要哪些类和函数)有一定的想法后,建议你实现一个功能可能极其有限的简单版本. 当你有了可运行的程序后,将发现接下来的工作容易得多.你可添加新功能,修改不喜欢的方面,等等.这样你才能够真 ...

  5. 生命游戏Delphi实现

    生命游戏,康威生命游戏(Game of Life),剑桥大学约翰·何顿·康威设计的计算机程序. 生命游戏没有游戏玩家各方之间的竞争,也谈不上输赢,可以把它归类为仿真游戏.事实上,也是因为它模拟和显示的 ...

  6. Codeforces Round 944 (Div. 4)

    知识点模块 1. ai xor aj<=4 意味着两个数字的二进制位,只能有后两位的二进制位不同,因为如果第三位二进制位不同,就会出现异或的结果大于4 2.要有化曲为直的思想 学会把曲线上的坐标 ...

  7. python爬虫,beatifulsop获取标签属性值(取值)案例

    前面的案例里,均采用正则匹配的方式取值 title = re.findall('">(.*?)</a>', i, re.S)[0]#标题 url = re.findall( ...

  8. python发送QQ邮件,自定义邮件内容

    怎么发QQ邮件,网上的例子很多,就不介绍了,具体可参考:https://www.jianshu.com/p/0f8c5e4e7054 这里主要把自定义邮件内容写一下 # -*- coding: utf ...

  9. kettle介绍-Step之Value Mapper

    Value Mapper值映射介绍 值映射步骤是将字符串值从一个值映射为另一个值.值映射步骤提供了一个简单的替代方法,在输入流中选中一个字段,通过字段值设置源值和目标值,再将映射值输出给后续步骤使用. ...

  10. IEC101、IEC103、IEC104、Modbus报文解析工具

    一.概述 国际电工委员会第57技术委员会(IEC TC57)1995年出版IEC 60870-5-101后,得到了广泛的应用.为适应网络传输,2000年IEC TC57又出版了IEC 60870-5- ...