2022 年 5 月 8 日,Taier 1.1 版本正式发布!

本次版本更新对 Flink 的支持升级到 Flink1.12,支持多种流类型任务,新版本的使用文档已在社区中推送,大家可以随时下载查阅。

github 地址:

https://github.com/DTStack/Taier

gitee 地址:

https://gitee.com/dtstack_dev_0/taier

Taier 1.1 版本介绍

Taier 是一个分布式可视化的 DAG 任务调度系统,是数栈数据中台整体架构的重要枢纽,负责调度日常庞大的任务量。

它旨在降低 ETL 开发成本,提高大数据平台稳定性,让大数据开发人员可以在 Taier 直接进行业务逻辑的开发,而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现,将工作的重心更多地聚焦在业务之中。

Taier1.0 版本于 2022 年 2 月发布,在 1.0 版本发布的第二天,1.1 版本的迭代就已提上日程,并于昨日正式发布。

本次版本更新,着重解决了 Taier 的适配性问题:对 Flink 的支持升级到 1.12;Taier 中的 Spark SQL 和 Flink SQL 两个组件也实现了支持用户在任务中自定义函数,明显让 Taier 的延展性有了更好的发挥;新增了许多例如 Hive SQL 类型任务、实时任务运维等强大功能。

这次版本更新对 Taier 的固有优势进行了巩固,同时也强化并改善了用户体验,进一步精细化提升产品性能。

Taier 1.1 功能详解

01  对 Flink 版本支持升级到 1.12

Taier 作为一个分布式可视化的 DAG 任务调度系统,采用 ChunJun 作为分布式数据同步工具。1.1 版本将 Flink 版本升级到 1.12 ,支持 ChunJun 1.12 版本中新增的 transformer 算子等以及所有 Flink 原生语法及 Function

02 数据同步支持脚本模式、增量同步

数据同步任务除向导模式外,1.1 版本新增数据同步脚本模式。脚本模式通过 json 的方式配置,无需依赖 datasourcex 的支持的数据源,直接通过 json 配置的方式提交任务,脚本模式的 json 格式无缝兼容 ChunJun 的数据格式,用户可以通过脚本模式调试各类数据源的数据同步。

03  新增 Hive SQL

Apache Hive 是一个构建于 Hadoop 顶层的数据仓库,可以将结构化的数据文件映射为一张数据库表,并提供简单的 SQL 查询功能,可以将 SQL 语句转换为 MapReduce 任务进行运行。Taier1.1 版本新增 Hive SQL ,支持对接 Hive 的不同版本 。

04  新增多种实时类型任务

新增实时采集任务,支持将 MySQL、Oracle 的数据同步至 Kafka。

新增 Flink SQL 任务,通过标准 SQL 语义的开发帮助快速完成数据任务的配置工作。

05  新增实时任务运维

可通过实时运维中心查看实时任务的相关指标信息以及任务的详细日志信息。

06  支持用户自定义函数

用户自定义函数(User Defined Function,简称 UDF),是用户除了使用系统函数外,自行创建的函数,用于满足个性化的计算需求。自定义函数在使用上与普通的系统函数类似。

目前 Taier1.1 版本 Spark SQL 和 Flink SQL 任务均支持自定义函数。

07  全新暗黑主题上线

Taier 开发界面暗黑主题上线,提供多种主题切换,用户可自行选择。Taier 1.1 可支持用户自由选择 Dark Default 主题或 Light Default 主题等等界面风格,用户体验显著提升。

未来规划

Taier 作为一个新开源的项目,我们的迭代和更新一直在进行中,后续 Taier 将在扩展性、用户自主性方向上继续探索扩展,比如我们正在努力让用户可以基于 Taier 去自定义开发自己需要的类型任务等等。

Taier 的每一次进步都离不开社区开发者们的帮助和建议,希望大家保持关注,和 Taier 一起继续前进,不断攀登新高峰!

开源项目丨 Taier 1.1 版本正式发布,新增功能一览为快的更多相关文章

  1. 微信小程序商城开源项目,Weixin-App-Shop 1.0 版本正式发布!!!

    微信小程序商城开源项目,Weixin-App-Shop 1.0 版本正式发布 Weixin-App-Shop 是捷微团队开发的微信小程序商城开源项目,涵盖了微信商城的全部功能,能够快速发布简单易用的小 ...

  2. Hanlp1.7版本的新增功能一览

    Hanlp1.7版本在去年下半年的时候就随大快的DKH1.6版本同时发布了,截至目前1.7大版本也更新到了1.7.1了.本篇分别就1.7.0和1.7.1中新增的功能做一个简单的汇总介绍. HanLP ...

  3. 原创开源项目HierarchyViewer for iOS 2.1 Beta新功能介绍

    回顾 HierarchyViewer for iOS是我们发布的一个开源项目,采用GPL v3.0协议. HierarchyViewer for iOS可以帮助iOS应用的开发和测试人员,在没有源代码 ...

  4. Dash 2.9.0版本重磅新功能一览

    本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/dash-master 大家好我是费老师,就在昨晚,Dash框架发布了其2.9.0版本更新,在一众更新 ...

  5. DIOCP开源项目-DIOCP3的重生和稳定版本发布

    DIOCP3的重生 从开始写DIOCP到现在已经有一年多的时间了,最近两个月以来一直有个想法做个 30 * 24 稳定的企业服务端架构,让程序员专注于逻辑实现就好.虽然DIOCP到现在通讯层已经很稳定 ...

  6. 小程序官网CMS开源项目出炉,Weixin-App-CMS 1.0 版本正式发布

    Weixin-App-CMS 是捷微团队开发的微信小程序CMS开源项目,涵盖了微网站的基本功能,能够快速发布简单易用的小程序网站.采用工具“微信web开发”上传小程序,即可快速体验发布体验小程序网站. ...

  7. 安装开源项目 MultiType (基于 RecyclerView)出现的各种问题 -- 自己的第一篇博客

    一.引入开源项目的方式 使用开源项目 MultiType 的两种方式: 1.maven引入:在主Module 的 build.gradle 中加入 dependencies { ...... comp ...

  8. 开源项目在线化 中文繁简体转换/敏感词/拼音/分词/汉字相似度/markdown 目录

    前言 以前在 github 上自己开源了一些项目.碍于技术与精力,大部分项目都是 java 实现的. 这对于非 java 开发者而言很不友好,对于不会编程的用户更加不友好. 为了让更多的人可以使用到这 ...

  9. 为开源项目贡献代码-pycharm使用git-登录注册功能分析-判断手机号存在接口-多种方式登录接口-腾讯云短信申请

    目录 为开源项目贡献代码-pycharm使用git-登录注册功能分析-判断手机号存在接口-多种方式登录接口-腾讯云短信申请 git内容大回顾 今日内容概要 今日内容详细 1 为开源项目贡献代码 2 p ...

  10. 2019年9月Github上最热门的JavaScript开源项目

      2019年9月Github上最热门的JavaScript开源项目 前端开发 前端开发 微信号 qianduan1024 功能介绍 专注于Web前端技术文章分享,包含JavaScript.HTML5 ...

随机推荐

  1. 裸金属架构之服务器安装VMWare ESXI虚拟化平台详细流程

    目录1. 裸金属架构(Vcent)2. Vcent安装流程2.1 远程控制端(个人电脑)安装VMware-viclien2.2 服务器部署安装VMWare ESXI2.3 VMware-viclien ...

  2. 使用benchmarksql测试数据库处理能力

    我们所处行业的核心应用业务,当前还是传统的OLTP业务,应用系统使用 java 开发,并且不建议使用存储过程,使用 benchmarksql 压测数据库最公平,既可以测试数据库性能,也可以测试JDBC ...

  3. 🎀chrome-网页gif截图插件

    简介 本文介绍网页中gif截图工具使用,便于日常对网页中动态效果或元素进行截图 软件介绍 Capture to a Gif 是用来录制屏幕并将其保存为 GIF 格式文件的chrome插件工具.它允许用 ...

  4. Launchpool名词解释

    # 一.什么是Launchpool Launchpool是一种加密货币领域的创新机制,通常由交易所或DeFi平台提供,允许用户通过质押(staking)或锁定特定代币来获得新项目的代币奖励. ## L ...

  5. python Response的语法

    -- r.status_code #响应状态码 -- r.content #字节方式的响应体,会自动为你解码 gzip 和 deflate 压缩 -- r.headers #以字典对象存储服务器响应头 ...

  6. journalctl -u docker 查看日志

    转载注明出处: 1. 查看 Docker 服务的最新日志(实时滚动) sudo journalctl -u docker -f -f 参数表示 跟随(follow),会持续输出最新日志(类似 tail ...

  7. kettle介绍-Step之Return steps metrics

    Return steps metrics转换步骤信息统计介绍 转换步骤信息统计步骤可以用于统计当前转换中的其它步骤信息,包括步骤执行后的输入行数.输入行数.读入行数.更新行数等.此步骤可以直接拖入转换 ...

  8. python-docx设置标题颜色

    from docx import Document from docx.enum.text import WD_PARAGRAPH_ALIGNMENT from docx.shared import ...

  9. 在使用import win32api时,报错:No module named win32api

    二.在使用import win32api时,报错:No module named win32api 网上查到有下面解决办法: pip install pypiwin32 或 pip3 install ...

  10. 【语义分割专栏】先导篇:评价指标(PA,CPA,IoU,mIoU,FWIoU,F1)

    目录 前言 混淆矩阵 计算混淆矩阵 评价指标 像素准确率(Pixel Accuracy,PA) 类别像素准确率(Class Pixel Accuracy,CPA) 类别平均像素准确率(Mean Pix ...