Delta Table执行Merge操作异常：未更新却出现覆盖效果求助

问题本质 #

你执行Merge后原表1900万行被替换为updates_df的行数，说明Merge操作未按预期执行增量更新，而是完全覆盖了原数据，以下是针对性排查和修复步骤：

1. 验证Delta表加载路径 #

先确认table_data_location指向的是存储1900万行数据的正确路径：

# 查看加载路径下的实际行数
original_row_count = self.spark.read.format("delta").load(table_data_location).count()
print(f"当前路径下的原表行数：{original_row_count}")

如果输出不是1900万，说明路径指向错误（比如指向了临时目录或空目录），导致Merge在空表上执行，最终结果就是updates_df的行数。

2. 检查主键匹配条件的有效性 #

主键列location、title、identifier若在原表和updates_df中数据类型不匹配（如字符串/整数差异），会导致匹配条件永远不成立：

• 此时whenMatchedUpdateAll()不会触发任何更新
• 若Delta Lake元数据存在异常，可能导致原表数据被误清理

可以通过以下代码检查数据类型一致性：

# 对比原表与updates_df的主键列类型
table_schema = self.spark.read.format("delta").load(table_data_location).schema
updates_schema = updates_df.schema
for col in ["location", "title", "identifier"]:
    print(f"{col} 原表类型：{table_schema[col].dataType}, updates_df类型：{updates_schema[col].dataType}")

3. 查看Delta表操作历史 #

通过Delta表的历史记录确认操作行为：

# 显示最近5次操作记录
table.history(5).select("version", "operation", "operationMetrics").show(truncate=False)

重点关注：

• 是否存在OVERWRITE操作（说明原数据被覆写）
• Merge操作的operationMetrics中，numTargetRowsDeleted是否等于原表行数（若为1900万，说明存在隐性删除逻辑）

4. 修正Merge逻辑 #

避免使用InsertAll/UpdateAll的隐式行为，显式指定列映射，同时对updates_df主键去重：

# 对updates_df按主键去重（假设update_time是数据更新时间，保留最新版本）
deduplicated_updates = updates_df.orderBy("update_time", ascending=False).dropDuplicates(["location", "title", "identifier"])

# 显式指定Merge逻辑
table.alias('A').merge(
    deduplicated_updates.alias('B'),
    "A.location = B.location AND A.title = B.title AND A.identifier = B.identifier"
).whenNotMatchedInsert(
    values={col: f"B.{col}" for col in deduplicated_updates.columns}
).whenMatchedUpdate(
    set={col: f"B.{col}" for col in deduplicated_updates.columns if col not in ["location", "title", "identifier"]}
).execute()

5. EMR on EKS环境配置检查 #

确认Spark配置中Delta Lake的扩展已正确启用：

spark.sql.extensions=io.delta.sql.DeltaSparkSessionExtension
spark.sql.catalog.spark_catalog=org.apache.spark.sql.delta.catalog.DeltaCatalog

同时检查存储路径的读写权限，避免因权限问题导致的元数据异常。

内容的提问来源于stack exchange，提问作者Benny Elgazar