社区6月月报 | Apache SeaTunnel重要更新与优化记录
各位热爱Apache SeaTunnel的小伙伴们,社区6月份月报来啦!这里将记录Apache SeaTunnel社区每月的重要更新,欢迎关注。
月度Merge Stars
感谢以下小伙伴上个月为Apache SeaTunnel所做的精彩贡献(排名不分先后):
@baicie,@TaoZex,@loustler,@15810785091,@4chicat,@raboof,@Hisoka-X,@rtyuy,@wuchunfu,@ddna1021,@zhilinli123,@liunaijie,@somnmos,@CosmosNi,@MRYOG,@liugddx,@hailin0,@EricJoy2048,@litiliu,@zhangshenghang,@chl-wxp,@kim-up,@dailai
apache/seatunnel仓库
Fix
- [Hotfix][MySQL-CDC]修复读取GBK varchar类型的中文乱码问题 @hailin0
- [Fix][Connector-V2]修复StarRocks中已经存在的Content-Length头错误 @Hisoka-X
- [connector-jdbc][bugfix]修复SQL Server创建表时,关于特定字符串注释的bug。 @chl-wxp
- [connector-jdbc][bugfix]修复PostgreSQL创建表时关于comment字段特殊字符串类型的bug。 @chl-wxp
- [Hotfix][DOC]修复无效链接 @wuchunfu
- [Hotfix][Hive]修复Hive的load时,也太晚地设置了hive_site_path和hdfs_site_path。 @EricJoy2048
- [connector-jdbc][bugfix]修复Oracle创建表注释时处理特殊字符串的bug。 @chl-wxp
- [Hotfix][CDC]修复拆分模式的变更流 @hailin0
- [fix]将IMAP缓存数据字段类型恢复为与旧版本兼容 @liunaijie
- [connector-jdbc][bugfix]修复MySQL创建表时评论字段特殊字符串的bug @chl-wxp
- [Hotfix][Zeta]修复
generate_client_protocol.sh@hailin0 - [Hotfix][Zeta]修复多线程读取时,Apache SeaTunnel 中的架构变更导致的任务崩溃问题。 @dailai
- [Hotfix][Zeta]修复SeaTunnel Metrics丢失数据的问题 @EricJoy2048
- [bugfix][connector-mongodb]修复MongoDB中空值写入问题 @chl-wxp
- [Hotfix][Connector-V2][kafka]关于Apache SeaTunnel的Kafka消费者组自动提交偏移量逻辑错误修复 @zhangshenghang
- [Hotfix][Zeta]修复EventReporter中的OkHttp连接泄漏问题 @hailin0
Improve
- [Improve][Zeta]修复JobMaster重置应用类加载器两次的问题 @Hisoka-X
- [improve][Doc]添加引擎启动参数说明 @MRYOG
- [Improve][Doc]用表情符号修复Snowflake JDBC URL @Hisoka-X
- [Improve][Engine]支持为名为submit-job的REST API自定义作业ID。 @dailai
- [Feature][Elasticsearch]支持多表Sink写入#7041 @CosmosNi
- [Feature][Zeta]在提交任务时,为用于过滤工作的节点添加标签。 @liunaijie
- [Feature][Druid]支持DruidSink的多表写入。 @TaoZex
- [Improve][Transform-V2]移除对表名的SQL查询验证 @Hisoka-X
- [Improve][Connector-V2][MongoDB]支持将任何数值类型转换为double @loustler
- [Feature][Jdbc]支持红shift元数据目录 @hailin0
- [improve]删除日志以保护用户隐私。 @chl-wxp
- [Improve][File-Connector]支持将固定值/时间戳写入Parquet的int96类型。 @hailin0
- [Feature][Transforms]支持SQL中的is_date函数 @hailin0
- [Feature][Transform-V2 Filter]在过滤转换中支持排除列 @litiliu
- [Improve]使ClickhouseFileSinker支持包含持久化列的表 @ddna1021
- [Improve][Paimon]在写入数据之前,检查源和Sink之间的基本类型兼容性。 @dailai
- [Improve][Jdbc]引用表路径的标识符 @hailin0
- [Improve]在客户端添加自定义作业ID参数 @Hisoka-X
- [Improve][Connector-V2]清理目录表中的键名称 @Hisoka-X
- [Improve][Zeta]当任务FINISHED/CANCELED时,清理检查点文件。 @Hisoka-X
- [Improve][File Connector]优化XML读取代码并修复无法将布尔选项设置为true的问题。 @EricJoy2048
- [Improve][Connector-V2]优化Paimon的源代码 @dailai
- [Feature][RestAPI]添加概述API @liugddx
- [Improve][Zeta]支持多个sink的空闲任务关闭 @hailin0
- [Improve][Zeta]将SaveMode的行为移到主分支 @Hisoka-X
- [Feature][Connector-V2]支持任何文件的传输 @Hisoka-X
- [ [Improve][Jdbc]sink SQL支持自定义字段。(#6515) @rtyuy
- [Feature][Connector]添加DruidSink连接器 @TaoZex
- [Improve][Connector-V2][Iceberg]为Apache SeaTunnel添加Hadoop S3目录的端到端测试用例。 @4chicat
- [Feature][doc][Connector-V2][Common]添加通用连接器文档 @zhilinli123
- [Feature][Connector-V2]添加华为云OBS连接器 @kim-up
Others
- [E2E][HBase]重构HBase的端到端测试 @TaoZex
- 缺少JDBCSink保存模式情况下的参数#6458 @15810785091
- [Paimon]支持Paimon源的投影 @TaoZex
apache/seatunnel-website仓库
Others
- [Teams]更新团队列表 @liugddx
- [Doc]添加SeaTunnel Web文档1.0.1版本 @Hisoka-X
- [NOTICE]安全提示更新 @Hisoka-X
- 请勿将ASF全范围安全页面的链接从菜单中移除。 @raboof
- 请从网站上移除Apache SeaTunnel的web URL链接。 @baicie
- [Teams]更新团队列表 @liugddx
apache/seatunnel-web仓库
Fix
- [Hotfix]修复MySQL JDBC(Starrocks/TiDB)上的任意文件读漏洞 @hailin0
- [Hotfix]修复MySQL CDC中的任意文件读漏洞 @hailin0
- [Hotfix]修复MySQL JDBC中的任意文件读漏洞 @hailin0
- [Fix]从application.yml中移除secretKey @Hisoka-X
Others
- 更新JWT.secretKey文档 @Hisoka-X
- 使用
mvn clean package解决Apache SeaTunnel中的TS问题 @somnmos
本文由 白鲸开源 提供发布支持!
社区6月月报 | Apache SeaTunnel重要更新与优化记录的更多相关文章
- Apache SeaTunnel (Incubating) 2.1.0 发布,内核重构、全面支持 Flink
2021 年 12 月 9 日,SeaTunnel (原名 Waterdrop) 成功加入 Apache 孵化器,进入孵化器后,SeaTunnel 社区花费了大量时间来梳理整个项目的外部依赖以确保整个 ...
- 陈胡:Apache SeaTunnel实现 非CDC数据抽取实践
导读: 随着全球数据量的不断增长,越来越多的业务需要支撑高并发.高可用.可扩展.以及海量的数据存储,在这种情况下,适应各种场景的数据存储技术也不断的产生和发展.与此同时,各种数据库之间的同步与转化的需 ...
- 一些有用的社区论坛,wiki网站(持续更新)
1. IBM开发者(IBM developerwork): 这是一个比较全面的网站,上面有关于linux 管理.linux内核设计.存储等各个方面的知识,内容广泛,参考价值很高 http://www. ...
- 北京Uber司机7月13日奖励政策更新
各位司机朋友: 从7月13日(周一)起,奖励政策将进行调整,具体如下: 滴滴快车单单2.5倍,注册地址:http://www.udache.com/如何注册Uber司机(全国版最新最详细注册流程)/月 ...
- apache kafka系列之性能优化架构分析
apache kafka中国社区QQ群:162272557 Apache kafka性能优化架构分析 应用程序优化:数据压缩 watermark/2/text/aHR0cDovL2Jsb2cuY3Nk ...
- apache配置文件详解与优化
apache配置文件详解与优化 一.总结 一句话总结:结合apache配置文件中的英文说明和配置详解一起看 1.apache模块配置用的什么标签? IfModule 例如: <IfModule ...
- mysql语句:批量更新多条记录的不同值[转]
mysql语句:批量更新多条记录的不同值 mysql更新语句很简单,更新一条数据的某个字段,一般这样写: 帮助 1 UPDATE mytable SET myfield = 'value' WHERE ...
- mysql 批量更新与批量更新多条记录的不同值实现方法
批量更新 mysql更新语句很简单,更新一条数据的某个字段,一般这样写: 代码如下: UPDATE mytable SET myfield = 'value' WHERE other_field = ...
- mysql语句:批量更新多条记录的不同值
mysql更新语句很简单,更新一条数据的某个字段,一般这样写: 1 UPDATE mytable SET myfield = 'value' WHERE other_field = 'other_va ...
- ionic2新手入门整理,搭建环境,创建demo,打包apk,热更新,优化启动慢等避坑详解
onic官方文档链接:http://ionicframework.com/docs/ 如果是新的环境会有很多坑,主要是有墙,请仔细阅读每个步骤 文档包含以下内容: l 环境搭建 l 创建demo并 ...
随机推荐
- rabbitMq实现系统内的短信发送设计&动态获取BEAN
rabbitMq实现系统内的短信发送设计&动态获取BEAN 1.短信非系统的重要节点操作,可以在任务完成之后,比如下单成功,发送下单成功的mq消息,短信服务接收到mq消息,动态的判断该短信的c ...
- AgileConfig-1.9.4 发布,支持 OpenTelemetry
Hello 大家好,最新版的 AgileConfig 1.9.4 发布了.现在它可以通过 OpenTelemetry 对外提供 logs,traces,metrics 三个维度的数据.用户可以自由选择 ...
- Jenkins构建UI自动化项目,指定本地执行,没弹起浏览显示
1. 原因分析 为什么执行web没有弹出浏览器,Jenkins日志显示正在执行中 jenkins是用windows installer 安装成 windows的服务了,那么启动windows后jenk ...
- [AGC020D] Min Max Repetition
牛子题 优先满足第二个条件,长度是 \(\lceil \frac{max(A,B)}{min(A,B)+1}\rceil\) ,那么现在要满足字典序最小,发现先填 \(A..ABA..ABA..AB. ...
- 在Linux驱动中使用notifier通知链
在Linux驱动中使用notifier通知链 背景 在驱动分析中经常看到fb_notifier_callback,现在趁有空学习一下. 介绍 linux中的观察者模式是最显然的就是"通知链& ...
- R语言遍历文件夹求取其中所有栅格文件的平均值
本文介绍基于R语言中的raster包,遍历读取多个文件夹下的多张栅格遥感影像,分别批量对每一个文件夹中的多个栅格图像计算平均值,并将所得各个结果栅格分别加以保存的方法. 其中,本文是用R语言来 ...
- .NET周刊【6月第4期 2024-06-23】
国内文章 C#.Net筑基-集合知识全解 https://www.cnblogs.com/anding/p/18229596 .Net中提供了数组.列表.字典等多种集合类型,分为泛型和非泛型集合.泛型 ...
- PHP 真的不行了?透过 PHP 的前世今生看真相
大家好,我是码农先森. 1994年我出生在湖南的农村,就在同年加拿大的拉斯姆斯·勒多夫创造了 PHP,这时的 PHP 还只是用 Perl 编写的 CGI 脚本.或许是时间的巧合 PHP 变成了我后半生 ...
- ComfyUI进阶篇:ComfyUI核心节点(二)
ComfyUI核心节点(二) 前言: 学习ComfyUI是一场持久战.当你掌握了ComfyUI的安装和运行之后,会发现大量五花八门的节点.面对各种各样的工作流和复杂的节点种类,可能会让人感到不知所措. ...
- SpringBoot 解决跨域问题
今天遇到一个很神奇的问题,之前写的项目,后端跨域都处理好的,按部就班使用原来的方式,前后端都开发完之后,部署本地后,跨域没起效,一脸懵逼,然后使用公司另外一个同事的跨域解决方案,具体我也没深入研究到底 ...