AWS Glue中执行Delta Lake更新/删除/合并操作遇问题求助

核心问题分析 #

你遇到的矛盾现象（Merge插入/追加正常、但更新/删除报错），以及两类操作的报错，本质是AWS Glue的定制化Spark环境与开源Delta Lake的兼容性问题——Glue对S3上的Delta Lake写操作有特殊要求，必须配置Glue专属的Delta扩展和存储类，而你当前的配置未满足这些要求。

针对性解决方案 #

1. 正确初始化SparkSession（适配Glue环境） #

在Glue中不能直接用原生SparkSession初始化逻辑，必须通过GlueContext创建会话，并配置Glue专属的Delta存储类：

from awsglue.context import GlueContext
from pyspark.context import SparkContext

# 初始化Glue上下文
sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session

# 配置Delta核心参数 + Glue专属存储类
spark.conf.set("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension")
spark.conf.set("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog")
# 关键：指定Glue适配的S3日志存储类，解决更新/删除操作的权限与一致性问题
spark.conf.set("spark.delta.logStore.class", "org.apache.spark.sql.delta.storage.GS3LogStore")

2. 解决「this delta operation required sparksession to be configured with glue」报错 #

这个错误的根源是开源Delta Lake无法直接在Glue环境中执行写操作，必须满足两个条件：

• 配置上述的GS3LogStore存储类，让Delta用Glue的逻辑处理S3的一致性
• 使用与Glue版本严格兼容的Delta Lake包（禁止混用不匹配的开源jar）

3. 解决Spark SQL Merge的「Table does not support reads」报错 #

Glue环境不支持直接用delta.s3路径``的语法访问Delta表，需先读取表并创建临时视图，再执行Merge：

# 读取主表与更新表
superstore_df = spark.read.format("delta").load("s3a://delta-lake-aws-glue-demo/current/")
updates_df = spark.read.format("delta").load("s3a://delta-lake-aws-glue-demo/updates_delta/")

# 创建临时视图
superstore_df.createOrReplaceTempView("superstore")
updates_df.createOrReplaceTempView("updates")

# 执行Merge操作
spark.sql("""
MERGE INTO superstore
USING updates
ON superstore.row_id = updates.row_id
WHEN MATCHED THEN
  UPDATE SET *
WHEN NOT MATCHED THEN
  INSERT *
""")

更规范的方式是将Delta表注册到Glue Data Catalog，直接使用Catalog表名进行操作。

4. Delta Lake jar包的正确选择 #

不要使用开源delta-core jar，需根据Glue版本选择兼容包：

• Glue 2.0（Spark 2.4）：对应Delta Lake 0.8.0
• Glue 3.0（Spark 3.1）：对应Delta Lake 1.0.0（Glue 3.0+已内置Delta支持，无需手动上传jar，只需在Job配置的「Advanced properties」中添加--datalake-formats delta）
• Glue 4.0（Spark 3.3）：对应Delta Lake 2.1.0

内容的提问来源于stack exchange，提问作者Arun Kumar N