AWS Glue 4.0中Delta无法运行，求兼容的delta-core版本

Glue 4.0 官方验证兼容的 Delta Lake 稳定版本是 Delta Lake 2.3.0（对应 Scala 2.12 版本的 delta-core_2.12-2.3.0.jar）。

核心原因说明 #

你在使用旧版本 Delta Lake（比如1.0.1）或其他高版本时出现报错，本质是Glue 4.0基于Spark 3.3.0构建，而Delta Lake 1.x版本与Spark 3.3.x存在API层面的兼容性冲突；过高版本（比如3.x+）则会与Glue内置的Hive、Spark依赖产生版本不匹配问题。

关键配置注意事项 #

• 仅引入对应版本的delta-core_2.12-2.3.0.jar，不要同时引入delta-storage等其他Delta子模块，避免依赖重复冲突。
• 作业启动时必须添加以下Spark配置：

  spark.sql.extensions=io.delta.sql.DeltaSparkSessionExtension
  spark.sql.catalog.spark_catalog=org.apache.spark.sql.delta.catalog.DeltaCatalog
  

• 不要使用--packages参数拉取Delta依赖，建议直接上传对应jar包到S3并通过--extra-jars指定路径，避免依赖拉取时的版本混淆。

内容的提问来源于stack exchange，提问作者Pirx