开源项目丨 Taier 1.1 版本正式发布,新增功能一览为快
2022 年 5 月 8 日,Taier 1.1 版本正式发布!
本次版本更新对 Flink 的支持升级到 Flink1.12,支持多种流类型任务,新版本的使用文档已在社区中推送,大家可以随时下载查阅。
github 地址:
https://github.com/DTStack/Taier
gitee 地址:
https://gitee.com/dtstack_dev_0/taier
Taier 1.1 版本介绍
Taier 是一个分布式可视化的 DAG 任务调度系统,是数栈数据中台整体架构的重要枢纽,负责调度日常庞大的任务量。
它旨在降低 ETL 开发成本,提高大数据平台稳定性,让大数据开发人员可以在 Taier 直接进行业务逻辑的开发,而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现,将工作的重心更多地聚焦在业务之中。
Taier1.0 版本于 2022 年 2 月发布,在 1.0 版本发布的第二天,1.1 版本的迭代就已提上日程,并于昨日正式发布。
本次版本更新,着重解决了 Taier 的适配性问题:对 Flink 的支持升级到 1.12;Taier 中的 Spark SQL 和 Flink SQL 两个组件也实现了支持用户在任务中自定义函数,明显让 Taier 的延展性有了更好的发挥;新增了许多例如 Hive SQL 类型任务、实时任务运维等强大功能。
这次版本更新对 Taier 的固有优势进行了巩固,同时也强化并改善了用户体验,进一步精细化提升产品性能。
Taier 1.1 功能详解
01 对 Flink 版本支持升级到 1.12
Taier 作为一个分布式可视化的 DAG 任务调度系统,采用 ChunJun 作为分布式数据同步工具。1.1 版本将 Flink 版本升级到 1.12 ,支持 ChunJun 1.12 版本中新增的 transformer 算子等以及所有 Flink 原生语法及 Function
02 数据同步支持脚本模式、增量同步
数据同步任务除向导模式外,1.1 版本新增数据同步脚本模式。脚本模式通过 json 的方式配置,无需依赖 datasourcex 的支持的数据源,直接通过 json 配置的方式提交任务,脚本模式的 json 格式无缝兼容 ChunJun 的数据格式,用户可以通过脚本模式调试各类数据源的数据同步。
03 新增 Hive SQL
Apache Hive 是一个构建于 Hadoop 顶层的数据仓库,可以将结构化的数据文件映射为一张数据库表,并提供简单的 SQL 查询功能,可以将 SQL 语句转换为 MapReduce 任务进行运行。Taier1.1 版本新增 Hive SQL ,支持对接 Hive 的不同版本 。
04 新增多种实时类型任务
新增实时采集任务,支持将 MySQL、Oracle 的数据同步至 Kafka。
新增 Flink SQL 任务,通过标准 SQL 语义的开发帮助快速完成数据任务的配置工作。
05 新增实时任务运维
可通过实时运维中心查看实时任务的相关指标信息以及任务的详细日志信息。
06 支持用户自定义函数
用户自定义函数(User Defined Function,简称 UDF),是用户除了使用系统函数外,自行创建的函数,用于满足个性化的计算需求。自定义函数在使用上与普通的系统函数类似。
目前 Taier1.1 版本 Spark SQL 和 Flink SQL 任务均支持自定义函数。
07 全新暗黑主题上线
Taier 开发界面暗黑主题上线,提供多种主题切换,用户可自行选择。Taier 1.1 可支持用户自由选择 Dark Default 主题或 Light Default 主题等等界面风格,用户体验显著提升。
未来规划
Taier 作为一个新开源的项目,我们的迭代和更新一直在进行中,后续 Taier 将在扩展性、用户自主性方向上继续探索扩展,比如我们正在努力让用户可以基于 Taier 去自定义开发自己需要的类型任务等等。
Taier 的每一次进步都离不开社区开发者们的帮助和建议,希望大家保持关注,和 Taier 一起继续前进,不断攀登新高峰!
开源项目丨 Taier 1.1 版本正式发布,新增功能一览为快的更多相关文章
- 微信小程序商城开源项目,Weixin-App-Shop 1.0 版本正式发布!!!
微信小程序商城开源项目,Weixin-App-Shop 1.0 版本正式发布 Weixin-App-Shop 是捷微团队开发的微信小程序商城开源项目,涵盖了微信商城的全部功能,能够快速发布简单易用的小 ...
- Hanlp1.7版本的新增功能一览
Hanlp1.7版本在去年下半年的时候就随大快的DKH1.6版本同时发布了,截至目前1.7大版本也更新到了1.7.1了.本篇分别就1.7.0和1.7.1中新增的功能做一个简单的汇总介绍. HanLP ...
- 原创开源项目HierarchyViewer for iOS 2.1 Beta新功能介绍
回顾 HierarchyViewer for iOS是我们发布的一个开源项目,采用GPL v3.0协议. HierarchyViewer for iOS可以帮助iOS应用的开发和测试人员,在没有源代码 ...
- Dash 2.9.0版本重磅新功能一览
本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/dash-master 大家好我是费老师,就在昨晚,Dash框架发布了其2.9.0版本更新,在一众更新 ...
- DIOCP开源项目-DIOCP3的重生和稳定版本发布
DIOCP3的重生 从开始写DIOCP到现在已经有一年多的时间了,最近两个月以来一直有个想法做个 30 * 24 稳定的企业服务端架构,让程序员专注于逻辑实现就好.虽然DIOCP到现在通讯层已经很稳定 ...
- 小程序官网CMS开源项目出炉,Weixin-App-CMS 1.0 版本正式发布
Weixin-App-CMS 是捷微团队开发的微信小程序CMS开源项目,涵盖了微网站的基本功能,能够快速发布简单易用的小程序网站.采用工具“微信web开发”上传小程序,即可快速体验发布体验小程序网站. ...
- 安装开源项目 MultiType (基于 RecyclerView)出现的各种问题 -- 自己的第一篇博客
一.引入开源项目的方式 使用开源项目 MultiType 的两种方式: 1.maven引入:在主Module 的 build.gradle 中加入 dependencies { ...... comp ...
- 开源项目在线化 中文繁简体转换/敏感词/拼音/分词/汉字相似度/markdown 目录
前言 以前在 github 上自己开源了一些项目.碍于技术与精力,大部分项目都是 java 实现的. 这对于非 java 开发者而言很不友好,对于不会编程的用户更加不友好. 为了让更多的人可以使用到这 ...
- 为开源项目贡献代码-pycharm使用git-登录注册功能分析-判断手机号存在接口-多种方式登录接口-腾讯云短信申请
目录 为开源项目贡献代码-pycharm使用git-登录注册功能分析-判断手机号存在接口-多种方式登录接口-腾讯云短信申请 git内容大回顾 今日内容概要 今日内容详细 1 为开源项目贡献代码 2 p ...
- 2019年9月Github上最热门的JavaScript开源项目
2019年9月Github上最热门的JavaScript开源项目 前端开发 前端开发 微信号 qianduan1024 功能介绍 专注于Web前端技术文章分享,包含JavaScript.HTML5 ...
随机推荐
- 【Python】Python使用Tk实现动态爱心效果
[Python]Python使用Tk实现动态爱心效果 深夜种下希望,梦中便能发芽 相对于之前的版本(晚上星月争辉,美梦陪你入睡),解决了看起来很卡.爱心跳动死板和外围光环不怎么灵动的问题,添加了文字功 ...
- 【教程】C语言入门
C语言入门 首先导入头文件 #include<stdio.h> 接下来编写主函数 #include<stdio.h> int main() { retuen 0; } 最后,在 ...
- H5 电商新势力崛起:ZKmall模板商城 H5 版本的高性能开发秘籍
H5电商新势力的崛起中,ZKmall模板商城H5版本以其高性能和灵活性脱颖而出.以下是ZKmall模板商城H5版本的高性能开发秘籍,结合技术选型.架构优化与核心实践,为全场景电商应用提供高效解决方案: ...
- eolinker校验规则之正则匹配:返回结果校验的方法和案例(正则校验)
如上图红色箭头,需要校验返回值内是否包含"创建满足条件的优惠券"这一内容 如果需要满足以上校验,最好的方法就是使用正则进行匹配 切换到正则匹配,输入需要校验的内容,即可实现正则匹配 ...
- 100行代码实现Chat2XX(DB/ Web/ KnowledgeBase)
这两年基于大模型的应用可谓五花八门,Chat2DB,Chat2Web,Chat2KnowledgeBase,Chat2XXX等等.本质上都是以自然语言作为系统输入,通过各种手段获取额外的上下文信息,然 ...
- 题解:CF280B Maximum Xor Secondary
由于正求次大值比较困难,不如逆向思考. 由次大值来找最大值,即对于每个 iii,找到一个 jjj,满足 j<ij<ij<i 并且 ai<aja_i<a_jai<a ...
- java 单链表实现栈
package com.company;public class Main { //用链表模拟栈 public static void main(String[] args) { // write y ...
- Dpanel:Star2k,短短时间就被大家称为GitHub开源神器!轻量化Docker面板,还在等什么
Dpanel:Star2k,短短时间就被大家称为GitHub开源神器!轻量化Docker面板,还在等什么 如今的软件开发和运维领域,Docker容器技术已经成为一种主流的解决方案,它允许开发者和系统管 ...
- windows 配置jdk8环境变量
JAVA_HOME: E:\Android\Java\jdk1.8.0_131 PATH: %JAVA_HOME\%bin 也可以只配置PATH就可以,如 E:\Android\Java\jdk1.8 ...
- bat文件备份数据库
@echo off/*获取当前日期*/ set "Ymd=%date:~,4%%date:~5,2%%date:~8,2%" /*数据库自带的备份脚本的存放地址 --opt -u ...