Glue Job 4.0 Docker环境中ICEBERG MERGE INTO执行失败

问题定位 #

虽然Docker镜像和Glue控制台标注的版本一致，但本地镜像的默认配置未完全对齐云端环境，导致Iceberg的MERGE INTO扩展支持未正确加载，从而触发java.lang.UnsupportedOperationException错误。

解决方案 #

1. 补充Iceberg Spark扩展配置参数

启动Glue Job时，需要显式添加以下Spark配置，确保Iceberg的DML扩展被正确加载：

spark-submit \
  --enable-glue-datacatalog \
  --datalake-formats iceberg \
  --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions \
  --conf spark.sql.catalog.glue_catalog=org.apache.iceberg.spark.SparkCatalog \
  --conf spark.sql.catalog.glue_catalog.warehouse=s3://your-bucket/iceberg-warehouse/ \
  --conf spark.sql.catalog.glue_catalog.catalog-impl=org.apache.iceberg.aws.glue.GlueCatalog \
  your-job-script.py

这些参数会强制Spark启用Iceberg的会话扩展，并绑定Glue Catalog作为Iceberg的元数据存储。

2. 验证Docker镜像的Iceberg依赖完整性

进入Docker容器，检查/opt/aws-glue-libs/jars/目录下是否存在以下两个关键依赖包：

• iceberg-spark-runtime-3.3_2.12-1.0.0.jar
• iceberg-aws-1.0.0.jar

如果缺失，需要手动下载对应版本的包并添加到容器的类路径中（或挂载本地目录覆盖）。

3. 临时替代方案：使用Iceberg API实现MERGE逻辑

如果配置调整后仍无法解决，可以绕过SQL语句，直接调用Iceberg的原生API实现合并逻辑：

from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()

# 读取源数据与目标Iceberg表
source_df = spark.read.table("db.source_table")
target_table = spark.read.format("iceberg").load("glue_catalog.db.target_table")

# 执行MERGE操作
target_table.alias("t").merge(
    source_df.alias("s"),
    "t.id = s.id"
).whenMatchedUpdateAll().whenNotMatchedInsertAll().execute()

核心原因 #

Glue控制台会自动注入Iceberg DML所需的扩展配置和依赖，而本地Docker镜像默认未开启这些配置，需要手动补充以对齐云端运行环境。

内容的提问来源于stack exchange，提问作者user777