登录
/
注册
首页
论坛
其它
首页
科技
业界
安全
程序
广播
Follow
园子
关于
博客
发1篇日志+1圆
记录
发1条记录+2圆币
发帖说明
登录
/
注册
账号
自动登录
找回密码
密码
登录
立即注册
搜索
搜索
关闭
CSDN热搜
程序园
精品问答
技术交流
资源下载
本版
帖子
用户
软件
问答
教程
代码
VIP申请
网盘
联系我们
道具
勋章
任务
设置
我的收藏
退出
腾讯QQ
微信登录
返回列表
首页
›
业界区
›
安全
›
多源多表写入、数据格式增强,SeaTunnel 2.3.11 重磅更 ...
多源多表写入、数据格式增强,SeaTunnel 2.3.11 重磅更新来了!
[ 复制链接 ]
褐洌
前天 14:39
我们很高兴地宣布 Apache SeaTunnel 2.3.11 正式发布!作为一个专注于高性能、可扩展的数据集成平台,SeaTunnel 始终致力于为开发者和数据工程团队提供更强大、更灵活的异构数据处理能力。本次 2.3.11 版本在
稳定性、易用性、连接器生态、数据转换能力以及引擎层面
都进行了重要增强。无论是支持更多新型数据源与目标端、多表写入、复杂格式支持,还是对关键 Bug 的修复与文档优化,本次更新都体现了社区对用户反馈的快速响应和持续进化的能力。下面让我们一起来详细了解 2.3.11 的亮点内容。
功能更新 Highlights
新增连接器与功能增强
HTTP Sink 支持批量写入
:实现了 HTTP Sink 的批量写入功能,提高了数据写入效率。
支持多表写入功能
:
ClickHouse
:新增支持多表写入功能,提升了数据同步的灵活性。
TDengine
:新增支持多表写入功能,增强了数据处理能力。
DataHub
:新增支持多表写入功能,扩展了数据集成场景。
GraphQL Connector
:新增支持 GraphQL 连接器,丰富了数据源类型。
Elasticsearch Source 支持 PIT(Point-in-Time)
:增强了 Elasticsearch 数据源的查询能力。
支持 CSV 文件中不同列顺序的提取
:提升了文件数据处理的灵活性。
新增 Apache Cloudberry 支持
:扩展了数据源的多样性。
新增 Aerospike Sink Connector
:丰富了数据写入目标。
新增 Helm 测试用例
:增强了部署测试能力。
配置与参数优化
新增 end_timestamp 参数
:在时间戳起始模式中添加了 end_timestamp 参数,增强了数据读取的灵活性。
支持占位符替换
:HTTP Connector 支持参数占位符替换,提升了配置的灵活性。
新增远程主机验证选项
:FTP 数据通道新增远程主机验证选项,增强了安全性。
优化变量处理的健壮性
:改进了 stop-seatunnel-cluster.sh 脚本中变量处理的健壮性。
移除无用配置项
:删除了 Iceberg Sink 中无用的 iceberg.table.config 配置项。
优化 JDBC 方言选择逻辑
:提升了 JDBC 连接器的兼容性。
支持定义 Sink 列类型
:Transform 支持定义 Sink 列类型,增强了数据转换能力。
支持 SQL Transform 中的布尔类型
:提升了 SQL 转换的表达能力。
支持 Iceberg Source 中的过滤条件
:增强了数据读取的灵活性。
支持源/汇状态类的 serialVersionUID 检查脚本
:提升了状态管理的可靠性。
支持 Web UI 的基本认证
:增强了 Web UI 的安全性。
支持 Rest-API v2 的 HTTPS 协议
:提升了 API 通信的安全性。
新增任务运行管理页面的异常信息格式化
:优化了异常信息的展示。
优化 JDBC 的字符集分割算法
:提升了数据读取的准确性。
新增 row_delimiter 选项
:Text File Sink 新增 row_delimiter 选项,增强了文件写入的灵活性。
Bug 修复
修复 SeaTunnelClient 无法正常退出的问题:增强了客户端的稳定性。
修复 Oracle-CDC 重命名 DDL 事件缺失列类型的问题:提升了数据同步的准确性。
修复 PostgreSQL Sink 尝试更新唯一键的问题:增强了数据写入的稳定性。
修复 Hive 客户端线程不安全的问题
:提升了多线程环境下的可靠性。
修复 OceanBase MySQL JDBC Sink 创建语句错误的问题
:增强了兼容性。
修复 Kafka 枚举器分配分片时的空指针异常
:提升了数据读取的稳定性。
修复 JSON 输出中科学计数法表示的十进制数问题
:确保了数据的准确性。
修复 Parquet Int32 转换错误的问题
:提升了数据类型处理的准确性。
修复 CSV 格式分隔符的问题
:增强了文件解析的稳定性。
修复 MaxCompute Sink 写入日期小于实际日期的问题
:确保了数据写入的准确性。
修复 MongoDB 中 Long 类型无法处理科学计数法字符串的问题
:提升了数据类型兼容性。
修复 Elasticsearch 添加列事件的问题
:增强了数据同步的稳定性。
修复 SQL Server 在数据库名称包含点时创建表的问题
:提升了数据库兼容性。
修复 DateUtils 无法解析带本地时区的日期时间字符串的问题
:确保了时间解析的准确性。
修复 JDBC 默认连接参数无效的问题
:增强了连接配置的可靠性。
修复 Redis 写入失败但任务未失败的问题
:提升了错误处理的准确性。
文档更新
新增中文文档
:
MySQL-CDC Connector
MongoDB-CDC Connector
HiveJdbc Connector
Jira Connector
Cloudberry Connector
GitHub Connector
文档格式与内容优化
:
修复了 Markdown 格式问题,统一了标题格式,删除了无效的空格和重复内容。
调整了 explode 和 trim 系列 SQL 函数的描述,提升了文档的准确性。
更新了 Kafka 文档中的 Kerberos 部分,增强了安全配置的指导性。
修复了死链接,提升了文档的可用性。
致谢贡献者
感谢@zhangshenghang对本次版本发布的指导,以及以下贡献者对本次发布的代码提交、文档撰写、问题反馈做出的宝贵贡献(按用户名排序):
也感谢所有参与代码审核、功能测试、文档翻译和社区讨论的开发者、用户和贡献者!
获取方式
镜像下载:https://seatunnel.apache.org/download
GitHub Release 页面:SeaTunnel 2.3.11
Maven 依赖更新:Maven Central
本文由 白鲸开源 提供发布支持!
来源:程序园用户自行投稿发布,如果侵权,请联系站长删除
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!
回复
使用道具
举报
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
照妖镜
相关推荐
如何优雅上线、下线?原来 大厂应用 是这样 优雅发布的!
在 .NET 中将 EF Core 升级到 9.0.5 MySQL 连接提示 get_LockReleaseBehavior
开源情报中批判性思维因人工智能而逐渐衰落
sshd服务
AppFreeze与资源泄漏能力开放及常见问题定位方法介绍
微软又退出中国。。。
【UAP】使用 .NET Core App 编写 UAP
HarmonyOS 5.0 分布式数据协同与跨设备同步
【鸿蒙生态学堂03】应用程序框架基础
【一步步开发AI运动APP】一、写在最前
人工智能将如何影响语言的演变?
不是哥们,26 岁程序员,去种头发了?
MOSN(Modular Open Smart Network)是一款主要使用 Go 语言开发的云原生网络代理平台
Datawhale速通百炼RAG应用-Task1
在Ubuntu中部署.NET 8 Minimal WebAPI项目
记录---前端图像五兄弟:网络 URL、Base64、Blob、ArrayBuffer、本地路径,全整明白!
JavaScript基础
康谋分享 | 自动驾驶仿真进入“标准时代”:aiSim全面对接ASAM OpenX
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
回复
本版积分规则
回帖并转播
回帖后跳转到最后一页
浏览过的版块
代码
业界
签约作者
程序园优秀签约作者
发帖
褐洌
前天 14:39
关注
0
粉丝关注
5
主题发布
板块介绍填写区域,请于后台编辑
财富榜{圆}
敖可
9988
处匈跑
9998
森萌黠
9996
4
堵赫然
9996
5
凶契帽
9996
6
柴古香
9996
7
背竽
9996
8
斜素欣
9994
9
恐肩
9994
10
里豳朝
9994
查看更多