跳到主要内容

LakeSoul 4.0.0 兼容性矩阵

本文定义 LakeSoul Core 4.0.0 支持的运行时和平台边界。“发布 CI”表示 4.0.0 发布门禁实际验证的基线,不代表支持未列出的版本。

核心运行时

组件支持基线发布 CI 基线状态说明
SparkSpark 3.5.8、Scala 2.12.15、Java 11Spark 3.5.8、Scala 2.12.15、Temurin 11GA使用 lakesoul-spark-3.5_2.12:4.0.0
FlinkFlink 1.20.0、Scala 2.12、Java 11 或更高版本Flink 1.20.0、Temurin 11GA使用 lakesoul-flink-1.20_2.12:4.0.0
Flink CDC3.5.03.5.0GA不支持复用 Flink CDC 3.0 Savepoint。
PrestoPresto 0.296、Java 17Presto 0.296、Temurin 17GA使用 lakesoul-presto-0.296:4.0.0。必须替换完整部署,不支持混用 Connector 版本。
PostgreSQLPostgreSQL 14 或更高版本PostgreSQL 14.5GA启动 4.0.0 前应用版本化元数据迁移。

Python 兼容性

LakeSoul Python 与 LakeSoul Core 独立发布。与 Core 4.0.0 兼容性门禁对齐的 Python 版本为 2.0.0

组件支持范围发布 CI 基线状态
LakeSoul Python2.0.02.0.0独立发布
Python>=3.103.10GA
官方 Wheel 平台Linux x86_64、manylinux2014x86_64-unknown-linux-gnuGA
PyArrow>=16,<21由锁定的 Python 发布环境解析GA
PySpark extra3.5.83.5.8GA
Ray extra>=2.55,<2.56由锁定的 Python 发布环境解析可选
Daft extra>=0.7.15由锁定的 Python 发布环境解析可选

Core Tag 不会发布 Python 包,py-vX.Y.Z Tag 也不会发布 Core 构件或改变网站的稳定 Core 版本。

原生平台支持

操作系统架构ABI/Target构建原生烟测Connector E2E支持级别
Linux GNUx86_64x86_64-unknown-linux-gnu必须必须必须GA Production
Linux GNUaarch64不支持
Linux musl任意不支持
macOS任意不支持
Windows任意不支持
任意 32 位操作系统任意不支持

官方 Connector JAR 内嵌 Linux x86_64 GNU 原生库。LakeSoul 4.0.0 不为上述不支持的平台发布官方原生构件,也不提供官方源码构建支持承诺。

文件与升级兼容性

能力4.0.0 支持状态兼容性边界
读取旧 Parquet支持已纳入发布兼容性门禁。
读取 Vortex支持使用 Vortex 标准 Writer 策略;文件扩展名为 .vortex
读取 Vortex Compact支持使用 Compact 策略;文件扩展名同样为 .vortex
混合格式快照支持一个快照可以同时包含 Parquet 和任一种 Vortex 写入策略。
默认写入Vortex CompactLakeSoul 3.x 无法读取生成的 Vortex 文件。
3.0.0 升级支持冷升级停止所有进程,恢复验证一致的元数据/数据备份对,迁移元数据,并同时替换所有运行时。
2.x 直接升级不支持必须先升级到经过验证的 3.0.0 基线。
混合运行 3.x/4.0.0不支持不能混用 Writer、Reader、Connector JAR 或原生库。
提交 Vortex 后原地回滚不支持从升级前同一静止点恢复 PostgreSQL 元数据和表数据。
复用 Flink CDC 3.0 Savepoint不支持使用源端保留能力,或独立验证的重放/回填流程。

parquetvortexvortex-compact 的区别、各 Writer 的格式选择方式及 Vortex 回滚边界参见物理文件格式

Gluten Preview

LakeSoulSparkScalaGluten平台发布方式支持级别
4.0.03.5.82.121.6.0Linux x86_64 GNU仅 GitHub Release JARPreview

Gluten 构件为 lakesoul-spark-gluten-3.5_2.12-4.0.0.jar。它不会发布到 Maven Central,也不阻塞 Core GA。Preview 表示其依赖链和生产支持承诺尚未达到 GA,生产使用前必须独立验证。

升级前请阅读 4.0.0 发布说明升级与恢复指南