新起点!大数据分布式可视化的 DAG 任务调度系统 Taier 正式发布1.4版本
我们很高兴向大家宣布,2023年4月14日,Taier 正式发布 1.4 版本。自2022年2月份 Taier 正式开源以来,收到了很多开发者和行业用户的积极评价,在诸多生产环境中已得到充分应用。Taier 1.4版本正是吸收了各类实践经验及大家的建议,进行了此次迭代优化。
本次更新不仅包含了性能优化和稳定性的提升,还新增了各类任务类型、完善大量任务功能,优化使用场景,持续增强开源产品化技术能力和应用能力。
Taier 是一款好用又强大的大数据分布式可视化的 DAG 任务调度系统,旨在降低 ETL 开发成本、提高大数据平台稳定性。它让大数据开发人员可以在 Taier 直接进行业务逻辑的开发,而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现,将工作的重心更多地聚焦在业务之中。
截至目前(2023 年 4 月 17 日),Taier 在 GitHub 的 Star 数已经突破 1.1 k,并拥有37名社区贡献者,我们在此对所有参与到 Taier 项目及社区建设的朋友们表达由衷的感谢。
目前新版本已在 Github 与 Gitee 上线,欢迎大家前往体验。
Github:
https://github.com/DTStack/Taier
Gitee:
https://gitee.com/dtstack_dev_0/taier
社区官网:
https://dtstack.github.io/Taier/
Taier 1.4 版本更新亮点
新增任务类型
· 新增 DataX 组件,在无 Hadoop 环境的情况下,Taier 可以通过执行 DataX 的任务来实现异构数据源之间高速稳定的数据同步的能力,增强 Taier 在单机模式下的基础功能。
· 新增 Greenplum、GaussDB、MySQL、Postgresql、Sqlserver、TiDB、Vertica、Maxcompute 等任务类型,完善 Taier 相关 SQL 任务类型。
· 新增 Hadoop MR 任务类型,可以通过自行编写 Map/Reduce 的代码,来执行对应的数据集的处理。
完善任务功能
· Script 组件新增 Standalone 模式, 支持 Python、Shell 任务本地执行,移除脚本任务对 Hadoop 环境的强依赖。
· 数据同步任务支持 Hive3 的数据源向导模式配置。
· HiveSQL、Spark SQL 的临时查询表支持定时清理。
优化使用场景
· 兼容 Taier 在 Window 环境下部署运行的环境问题。
· 优化 Taier 部分元数据表结构信息、完善表结构备注信息。
· 优化控制台组件配置参数信息,移除环境相关参数信息,Spark 组件支持自动上传 SqlProxy 包,减少组件配置依赖。
接下来
Taier 1.4 版本的发布是又一个全新的开始,开发团队不会停下脚步,未来将根据用户反馈加速迭代持续优化,完善 Taier 的功能和文档,满足用户更多场景的使用,推进国内开源生态的发展。
Taier 此前的成绩离不开每一位参与者的贡献与支持,踏上这个新的起点,Taier 的未来也仍需大家共同努力,让 Taier 朝着好用又强大的 DAG 任务调度系统的目标继续前进。
《数据治理行业实践白皮书》下载地址:https://fs80.cn/380a4b
想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=szbky
同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术qun」,交流最新开源技术信息,qun号码:30537511,项目地址:https://github.com/DTStack
新起点!大数据分布式可视化的 DAG 任务调度系统 Taier 正式发布1.4版本的更多相关文章
- 深入浅出聊Taier—大数据分布式可视化DAG任务调度系统
导读: 上周,袋鼠云数栈全新技术开源规划--DTMO(DTstack Meetup Online)的第一场直播圆满完成.袋鼠云数栈大数据开发专家.Taier项目主导人偷天为大家带来了<Taier ...
- 吴裕雄--天生自然 Hadoop大数据分布式处理:centos7修改系统时间、时区
cp -f /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 修改完后需要重启.
- ElasticSearch大数据分布式弹性搜索引擎使用
阅读目录: 背景 安装 查找.下载rpm包 .执行rpm包安装 配置elasticsearch专属账户和组 设置elasticsearch文件所有者 切换到elasticsearch专属账户测试能否成 ...
- ElasticSearch大数据分布式弹性搜索引擎使用—从0到1
阅读目录: 背景 安装 查找.下载rpm包 .执行rpm包安装 配置elasticsearch专属账户和组 设置elasticsearch文件所有者 切换到elasticsearch专属账户测试能否成 ...
- 大数据 --> 分布式文件系统HDFS的工作原理
分布式文件系统HDFS的工作原理 Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统.HDFS是一个高度容错性的系统,适合部署在廉价的机器上.它能提供高吞吐量的数 ...
- 新闻网大数据实时分析可视化系统项目——2、linux环境准备与设置
1.Linux系统常规设置 1)设置ip地址 使用界面修改ip比较方便,如果Linux没有安装操作界面,需要使用命令:vi /etc/sysconfig/network-scripts/ifcfg-e ...
- 大数据Web可视化分析系统开发
下载地址 https://tomcat.apache.org/download-70.cgi 打开我们的idea 这些的话都可以按照自己的需求来修改 在这里新建包 新建一个java类 package ...
- 新闻网大数据实时分析可视化系统项目——18、Spark SQL快速离线数据分析
1.Spark SQL概述 1)Spark SQL是Spark核心功能的一部分,是在2014年4月份Spark1.0版本时发布的. 2)Spark SQL可以直接运行SQL或者HiveQL语句 3)B ...
- 新闻网大数据实时分析可视化系统项目——13、Cloudera HUE大数据可视化分析
1.Hue 概述及版本下载 1)概述 Hue是一个开源的Apache Hadoop UI系统,最早是由Cloudera Desktop演化而来,由Cloudera贡献给开源社区,它是基于Python ...
- 移动端不利用HTML5和echarts开发一样可以实现大数据展示及炫酷统计系统(产品技术综合)
一.由于项目需要进行手机看板展示设计及开发展示效果图如下:
随机推荐
- selenium爬虫学习1
简介 Selenium是广泛使用的模拟浏览器运行的库,它是一个用于Web应用程序测试的工具. Selenium测试直接运行在浏览器中,就像真正的用户在操作一样,并且支持大多数现代 Web 浏览器. 函 ...
- dotnet 源代码生成器分析器入门
本文将带领大家入门 dotnet 的 SourceGenerator 源代码生成器技术,期待大家阅读完本文能够看懂理解和编写源代码生成器和分析器 恭喜你看到了本文,进入到 C# dotnet 的深水区 ...
- Bandit Python代码审计漏洞检测工具实战
系统概述 Bandit是一个用于分析Python代码审计安全漏洞的工具,旨在识别常见的安全问题,如硬编码密码.不安全的函数调用.SQL注入等.它通过构建抽象语法树(AST)并对节点运行适当的插件来检测 ...
- day11”函数“入门
函数 函数的作⽤ 函数的使⽤步骤 函数的参数作⽤ 函数的返回值作⽤ 函数的说明⽂档 函数嵌套 函数是组织好的,可重复使用的,用来实现单一,或相关联功能的代码段. 函数能提高应用的模块性,和代码的重复利 ...
- Redis的底层数据结构-跳表
跳跃表(skiplist)是一种有序数据结构,它通过在每个节点中维持多个指向其它节点的指针,从而达到快速访问节点的目的.具有如下性质: 1.由很多层结构组成: 2.每一层都是一个有序的链表,排列顺序为 ...
- CF1370C题解
本蒟蒻的第二篇题解,找题归功于教练 题目传送门 这道题目找好了规律很简单: 具体思路: 题目大意: 有一个正整数 nnn.两名玩家轮流操作.每次操作可以执行以下一种: 将 nnn 除以一个 nnn 的 ...
- PHP 实现微信异步回调数据打印知识分享
一.引言 在微信支付.微信公众号消息推送等场景中,微信服务器会通过异步回调的方式将处理结果发送给我们的服务器.为了便于调试和监控,我们需要获取并打印这些回调数据.本文将详细介绍如何使用 PHP 的 f ...
- 支持国产,为deepin添把柴,全面切换到deepin;
虽然不是技术型,但是对deepin的支持必须有的. 只希望国产系统越来越好.国产软件越来越好. 软件生态也越来越好! 等搞完高精密仪器问题,cpu自己造了,下来估计就要整顿软件行业. 我这里要时刻准备 ...
- 基于Kubernetes可扩展的Selenium 并行自动化测试部署及搭建(1)——Win10环境下Docker部署
前言: 最近逛swtestacademy时候发现一篇基于kubernetes搭建selenium并行自动化测试的帖子,主要描述的是通过k8s动态扩展selenium grid来实现自动化测试用例在不同 ...
- 利用java8 stream流将一个对象集合转换成另一个对象集合
//需要字段名一致 List<UserCheckData> userCheckDataList = null; List<UserCheckPO> list = userChe ...