Apache SeaTunnel 4月回顾:明星贡献者与技术突破
各位热爱 SeaTunnel 的小伙伴们,SeaTunnel 社区 4 月份月报来啦!这里将记录 SeaTunnel 社区每月的重要更新,欢迎关注!
月度 Merge 之星
感谢以下小伙伴 4 月为 Apache SeaTunnel 做的精彩贡献(排名不分先后):
@TyrantLucifer,@sunxiaojian,@CosmosNi,@corgy-w,@litiliu,@LeonYoah,@hailin0,@taohaozhi1129,@L-Gryps,@Hisoka-X,@xiaochen-zhou,@shangeyao,@lightzhao,@haneeshmv,@liunaijie,@nianhua99,@dailai,@dzygoon,@ruanwenjun,@xxzuo,@liugddx,@EricJoy2048,@baicie,@YalikWang,@gitfortian
apache/seatunnel
fix
- [fix][doc]修复死链 @liunaijie
- [fix][zeta]修复无法释放资源的问题 @liunaijie
- [Fix]修复Oracle类型转换器在数值类型中处理负数比例的问题 @Hisoka-X
- [Bug Fix]将Doris的错误状态(#6753)记录下来。 @taohaozhi1129
- [bigfix][S3 File]:Change the [SCHEMA] attribute of the [S3CONF class]为了在反序列化后避免重新赋值,需要使其非静态 @LeonYoah
- [Hotfix][S3 Connector]将aws-java-sdk-bundle的版本更新以修复任务无法运行的问题。 @EricJoy2048
- [Fix][Script]修复 JVM 选项文件末尾没有
\n时丢失 JVM 选项的问题 @Hisoka-X - [fix]修复SeaTunnel获取row size时的NPE问题 @liunaijie
- [Fix][Connector-v2]修复 Doris 和 StarRocks 数据库中创建表的 SQL 语句错误 @dailai
- [Fix][Doc]修复了一些文档中的链接 @xxzuo
- [Fix][connector-rocketmq]将正确的偏移量提交给broker,并减少ThreadInterruptedException日志 @YalikWang
- [Fix][Kafka-Sink]修复Apache SeaTunnel KafkaSinkFactory选项规则 @liunaijie
- [Fix][Doc]修复一些拼写错误 @xiaochen-zhou
- [Fix][Doc]修复FTPSink配置键
username为user。 @Hisoka-X - [fix][connector-rocketmq]修复了当checkpoint.interval设置过小时引发的空指针异常问题(#6624) @YalikWang
- [Hotfix]修复了Apache SeaTunnel中HTTP源读取yyyy-MM-dd HH:mm:ss格式数据的bug,并优化了DateTimeUtils。 @EricJoy2048
- [Bug] [formats]修复当内容包含文件分隔符时解析行失败的问题 @litiliu
- [Fix][Connector-V2]修复当分区已存在时,Apache SeaTunnel增加Hive分区的错误 @Hisoka-X
- [Fix][Zeta]解决因保存点检查机制导致的线程挂起问题 @Hisoka-X
- [Bug]修复OrcWriteStrategy/ParquetWriteStrategy在使用Kerberos身份验证时的登录问题。 @ruanwenjun
- [Bug][Improve][Connector-v2][ElasticsearchSource]修复当源为空时的行为,支持SourceConfig.SOURCE字段为空。 @CosmosNi
- [Hotfix]解决 DEFAULT TABLE 问题 @EricJoy2048
improve
- [Improve][Zeta]为Zeta任务添加Minio作为检查点存储的文档 @gitfortian
- [Improve] [Clickhouse]当设置allow_experimental_lightweight_delete为false时,移除检查 (#6727) @shangeyao
- [Improve][HiveSink]修复资源泄漏的风险。 @lightzhao
- [Improve][Zeta]禁用Apache SeaTunnel检查点的HDFS文件系统缓存。 @LeonYoah
- [Doc][Improvement]为Config-Encryption-Decryption.md添加中文支持 @xxzuo
- [Doc][Improve]介绍文档中的多行文本功能 @nianhua99
- [Feature][connector-v2]启用了Iceberg-sink模式变更测试 @sunxiaojian
- [Improve][mysql-cdc/jdbc]支持MySQL 5.5版本 @hailin0
- [Improve]优化CDC连接器中的表架构读取 @Hisoka-X
- [Improve][mysql-cdc]当
SHOW CREATE TABLE命令失败时,回退到描述表 @hailin0 - [Improve][Hive]更新Hive 3版本 @EricJoy2048
- [Feature][Connector-V2]冰山sink支持将数据写入分支 @sunxiaojian
- [Improve][Transform]移除找不到字段异常 @xiaochen-zhou
- [Feature][Zeta]在作业配置中支持配置任务重试次数。 @Hisoka-X
- [Improve]优化Doris流加载客户端侧的错误信息 @Hisoka-X
- [Improve]优化Parquet类型转换时的读取性能 @Hisoka-X
- [Improve][Zeta]当任务完成后,检查点将不会写入文件。 @liunaijie
- [Improve][Jdbc]在SQL中添加引号标识符 @hailin0
- [Improve][Zeta]优化RestHttpGetCommandProcessor#getSeaTunnelServer()方法的逻辑 @xiaochen-zhou
- [Doc][Improve]Sink部分支持中文 @corgy-w
- [Doc][Improve]为Kafka连接器添加Kerberos身份验证支持 (#6653) @gitfortian
- [Doc][Improve]为seatunnel-engine添加中文支持 @xxzuo
- [Improve][Connector-v2]Hive连接器支持多个文件系统。 @dailai
- [Improve][Transform]移除解析转换过程中的Fallback @xiaochen-zhou
- [Feature][Tool]为问题6199添加连接器检查脚本 @dailai
- [Feature][CDC]在cdc数据源中支持监听消息延迟事件。 @hailin0
- [Improve][Test]修复
ResourceManager和EventReport模块上测试的不稳定问题。 @Hisoka-X - [Improve][Jdbc]在自动创建表时增加类型转换器 @hailin0
- [Improve][Connector-V2]支持PaimonSink的Hadoop HA和Kerberos认证。 @dailai
- [Improve][CDC]当记录不包含模式字段时,提升读取性能。 @Hisoka-X
- [feature][connector-v2]添加xugudb连接器 @L-Gryps
- [Improve][CDC]在增量阶段优化split状态的内存分配 @hailin0
- [Improve][Zeta][storage]更新HDFS配置,支持更多参数 @liunaijie
- [Doc][Improve]为start-v2/locally/quick-start-flink.md和start-v2/locally/quick-start-spark.md添加中文支持。 @dzygoon
- [Feature][starter]支持在Spark/Flink引擎上用户自定义参数。 @liunaijie
- [Feature]Hive源/ sink支持多个表。 @ruanwenjun
others
- [Chore]删除无用的接口 @TyrantLucifer
- 2.3.5版本发布 @liugddx
- [Release][2.3.5][release-note]添加发布说明 @liugddx
- [Docs]更新Debezium JSON文档 @liunaijie
- [E2E]修复Amazon DynamoDB IT的不稳定问题 @hailin0
- [Docs]修复Kafka格式文档 @liunaijie
- [E2E]启用StarRocksCDCSinkIT @liunaijie
apache/seatunnel-website
- [Docs]更新并支持选择语言 @baicie
apache/seatunnel-web
- [feature][datasource]主要添加数据源-jdbc-db2 @haneeshmv
本文由 白鲸开源 提供发布支持!
Apache SeaTunnel 4月回顾:明星贡献者与技术突破的更多相关文章
- Apache SeaTunnel (Incubating) 2.1.0 发布,内核重构、全面支持 Flink
2021 年 12 月 9 日,SeaTunnel (原名 Waterdrop) 成功加入 Apache 孵化器,进入孵化器后,SeaTunnel 社区花费了大量时间来梳理整个项目的外部依赖以确保整个 ...
- 陈胡:Apache SeaTunnel实现 非CDC数据抽取实践
导读: 随着全球数据量的不断增长,越来越多的业务需要支撑高并发.高可用.可扩展.以及海量的数据存储,在这种情况下,适应各种场景的数据存储技术也不断的产生和发展.与此同时,各种数据库之间的同步与转化的需 ...
- 7月19日Docker&Kubernetes技术沙龙总结 - DockOne.io
7月19日Docker&Kubernetes技术沙龙总结 - DockOne.io undefined
- Apache web服务器(LAMP架构)(week3_day4)--技术流ken
apache介绍 1).世界上使用率最高的网站服务器,最高时可达70%:官方网站:apache.org 2).http 超文本协议 HTML 超文本标记语言 3).URL 统一资源定位符 http:/ ...
- 🏆【Alibaba微服务技术系列】「Dubbo3.0技术专题」回顾Dubbo2.x的技术原理和功能实现及源码分析(温故而知新)
RPC服务 什么叫RPC? RPC[Remote Procedure Call]是指远程过程调用,是一种进程间通信方式,他是一种技术的思想,而不是规范.它允许程序调用另一个地址空间(通常是共享网络的另 ...
- 倒计时0日!Apache DolphineScheduler4月 Meetup 大佬手把手教你大数据开发,离线调度
随着互联网技术和信息技术的发展,信息的数据化产生了许多无法用常规工具量化.处理和捕捉的数字信息.面对多元的数据类型,海量的信息价值,如何有效地对大数据进行挖掘分析,对大数据工作流进行调度,是保障企业大 ...
- 中国联通改造 Apache DolphinScheduler 资源中心,实现计费环境跨集群调用与数据脚本一站式访问
截止2022年,中国联通用户规模达到4.6亿,占据了全中国人口的30%,随着5G的推广普及,运营商IT系统普遍面临着海量用户.海量话单.多样化业务.组网模式等一系列变革的冲击. 当前,联通每天处理话单 ...
- Apache DolphinScheduler ASF 孵化器毕业一周年,汇报来了!
不知不觉,Apache DolphinScheduler 已经从 Apache 软件基金会(以下简称 ASF)孵化器毕业一年啦! 北京时间 2021 年 4 月 9 日,ASF 官方宣布 Apache ...
- 【Apache】的运营之道
1.“一个修修补补”的服务? 大家可能听说过 Apache 是一个双关语 “a patchy Web server”,意思为一个修修补补的 web 服务,即通过一系列的补丁做的服务.但是这并不是 Ap ...
- 15个具有高度影响力的Apache开源项目
自1999年创立以来,Apache软件基金会如今已成了众多重要的开源软件项目之家.其中成功的项目有Geronimo,有Tomcat,有Hadoop,有如今成了大数据王国关键车毂的分布式计算系统. 虽然 ...
随机推荐
- redis锁定商品解决并发售卖问题 RedisUtil工具类
redis锁定商品解决并发售卖问题 RedisUtil工具类 redis数据类型介绍: //伪代码,基本思路 //1.出redis,每次在选定商品之后,先检查redis是否已经锁定该商品,避免超卖.S ...
- RestApi请求地址支持多路径访问
RestApi请求地址支持多路径访问 @RestController@RequestMapping("/test") //单路径@RequestMapping(path = {&q ...
- FolkMQ 1.6.0(纯血国产,适合信创)
FolkMQ 是个"新式"的消息中间件.强调:"简而强".可内嵌,可单机,可集群(部署包为 9Mb). 功能简表 角色 功能 生产者(客户端) 发布普通消息.Q ...
- Mybatis if判断中使用了Ognl关键字导致报错解决方法
mybatis xml中使用OGNL解析参数,如果直接使用了关键字则会导致解析失败. 常见的关键字有: 字段 mybatis关键字 bor (字符|)的英文 xor 字符^的英文 and 字符& ...
- 将强化学习重新引入 RLHF
我们很高兴在 TRL 中介绍 RLOO (REINFORCE Leave One-Out) 训练器.作为一种替代 PPO 的方法,RLOO 是一种新的在线 RLHF 训练算法,旨在使其更易于访问和实施 ...
- C#使用RegNotifyChangeKeyValue监听注册表更改的几种方式
养成一个好习惯,调用 Windows API 之前一定要先看文档 RegNotifyChangeKeyValue 函数 (winreg.h) - Win32 apps | Microsoft Lear ...
- Linux 内核:设备树中的特殊节点
Linux 内核:设备树中的特殊节点 背景 在解析设备树dtb格式的时候,发现了这个,学习一下. 参考: https://blog.csdn.net/weixin_45309916/article/d ...
- power bi创建切片器导航
现在很多报告使用的是按钮导航,今天分享另外一种方式:切片器导航. 第一步: 新建一个页面导航表,主页-输入数据-[填写列名,每页报表的表名] 如图: [页面导航表] 第二步: 添加一个切片器,将页面导 ...
- 内网穿透的高性能的反向代理应用FRP-自定义404错误页【实践可行版】
frp简介 frp 是一个专注于内网穿透的高性能的反向代理应用,支持 TCP.UDP.HTTP.HTTPS 等多种协议.可以将内网服务以安全.便捷的方式通过具有公网 IP 节点的中转暴露到公网. 为什 ...
- tp6 uniapp跨越问题
自己写一个简单的中间件