褐洌 发表于 3 天前

多源多表写入、数据格式增强,SeaTunnel 2.3.11 重磅更新来了!


我们很高兴地宣布 Apache SeaTunnel 2.3.11 正式发布!作为一个专注于高性能、可扩展的数据集成平台,SeaTunnel 始终致力于为开发者和数据工程团队提供更强大、更灵活的异构数据处理能力。本次 2.3.11 版本在稳定性、易用性、连接器生态、数据转换能力以及引擎层面都进行了重要增强。无论是支持更多新型数据源与目标端、多表写入、复杂格式支持,还是对关键 Bug 的修复与文档优化,本次更新都体现了社区对用户反馈的快速响应和持续进化的能力。下面让我们一起来详细了解 2.3.11 的亮点内容。
功能更新 Highlights

新增连接器与功能增强


[*]HTTP Sink 支持批量写入:实现了 HTTP Sink 的批量写入功能,提高了数据写入效率。
[*]支持多表写入功能:

[*]ClickHouse:新增支持多表写入功能,提升了数据同步的灵活性。
[*]TDengine:新增支持多表写入功能,增强了数据处理能力。
[*]DataHub:新增支持多表写入功能,扩展了数据集成场景。

[*]GraphQL Connector:新增支持 GraphQL 连接器,丰富了数据源类型。
[*]Elasticsearch Source 支持 PIT(Point-in-Time):增强了 Elasticsearch 数据源的查询能力。
[*]支持 CSV 文件中不同列顺序的提取:提升了文件数据处理的灵活性。
[*]新增 Apache Cloudberry 支持:扩展了数据源的多样性。
[*]新增 Aerospike Sink Connector:丰富了数据写入目标。
[*]新增 Helm 测试用例:增强了部署测试能力。
配置与参数优化


[*]新增 end_timestamp 参数:在时间戳起始模式中添加了 end_timestamp 参数,增强了数据读取的灵活性。
[*]支持占位符替换:HTTP Connector 支持参数占位符替换,提升了配置的灵活性。
[*]新增远程主机验证选项:FTP 数据通道新增远程主机验证选项,增强了安全性。
[*]优化变量处理的健壮性:改进了 stop-seatunnel-cluster.sh 脚本中变量处理的健壮性。
[*]移除无用配置项:删除了 Iceberg Sink 中无用的 iceberg.table.config 配置项。
[*]优化 JDBC 方言选择逻辑:提升了 JDBC 连接器的兼容性。
[*]支持定义 Sink 列类型:Transform 支持定义 Sink 列类型,增强了数据转换能力。
[*]支持 SQL Transform 中的布尔类型:提升了 SQL 转换的表达能力。
[*]支持 Iceberg Source 中的过滤条件:增强了数据读取的灵活性。
[*]支持源/汇状态类的 serialVersionUID 检查脚本:提升了状态管理的可靠性。
[*]支持 Web UI 的基本认证:增强了 Web UI 的安全性。
[*]支持 Rest-API v2 的 HTTPS 协议:提升了 API 通信的安全性。
[*]新增任务运行管理页面的异常信息格式化:优化了异常信息的展示。
[*]优化 JDBC 的字符集分割算法:提升了数据读取的准确性。
[*]新增 row_delimiter 选项:Text File Sink 新增 row_delimiter 选项,增强了文件写入的灵活性。
Bug 修复


[*]修复 SeaTunnelClient 无法正常退出的问题:增强了客户端的稳定性。
[*]修复 Oracle-CDC 重命名 DDL 事件缺失列类型的问题:提升了数据同步的准确性。
[*]修复 PostgreSQL Sink 尝试更新唯一键的问题:增强了数据写入的稳定性。
[*]修复 Hive 客户端线程不安全的问题:提升了多线程环境下的可靠性。
[*]修复 OceanBase MySQL JDBC Sink 创建语句错误的问题:增强了兼容性。
[*]修复 Kafka 枚举器分配分片时的空指针异常:提升了数据读取的稳定性。
[*]修复 JSON 输出中科学计数法表示的十进制数问题:确保了数据的准确性。
[*]修复 Parquet Int32 转换错误的问题:提升了数据类型处理的准确性。
[*]修复 CSV 格式分隔符的问题:增强了文件解析的稳定性。
[*]修复 MaxCompute Sink 写入日期小于实际日期的问题:确保了数据写入的准确性。
[*]修复 MongoDB 中 Long 类型无法处理科学计数法字符串的问题:提升了数据类型兼容性。
[*]修复 Elasticsearch 添加列事件的问题:增强了数据同步的稳定性。
[*]修复 SQL Server 在数据库名称包含点时创建表的问题:提升了数据库兼容性。
[*]修复 DateUtils 无法解析带本地时区的日期时间字符串的问题:确保了时间解析的准确性。
[*]修复 JDBC 默认连接参数无效的问题:增强了连接配置的可靠性。
[*]修复 Redis 写入失败但任务未失败的问题:提升了错误处理的准确性。
文档更新


[*]新增中文文档:

[*]MySQL-CDC Connector
[*]MongoDB-CDC Connector
[*]HiveJdbc Connector
[*]Jira Connector
[*]Cloudberry Connector
[*]GitHub Connector

[*]文档格式与内容优化:

[*]修复了 Markdown 格式问题,统一了标题格式,删除了无效的空格和重复内容。
[*]调整了 explode 和 trim 系列 SQL 函数的描述,提升了文档的准确性。
[*]更新了 Kafka 文档中的 Kerberos 部分,增强了安全配置的指导性。
[*]修复了死链接,提升了文档的可用性。

致谢贡献者

感谢@zhangshenghang对本次版本发布的指导,以及以下贡献者对本次发布的代码提交、文档撰写、问题反馈做出的宝贵贡献(按用户名排序):

也感谢所有参与代码审核、功能测试、文档翻译和社区讨论的开发者、用户和贡献者!
获取方式


[*]镜像下载:https://seatunnel.apache.org/download
[*]GitHub Release 页面:SeaTunnel 2.3.11
[*]Maven 依赖更新:Maven Central
本文由 白鲸开源 提供发布支持!

来源:程序园用户自行投稿发布,如果侵权,请联系站长删除
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!
页: [1]
查看完整版本: 多源多表写入、数据格式增强,SeaTunnel 2.3.11 重磅更新来了!