AWS Glue作业中Delta Lake Merge删除条件不生效问题咨询

核心原因 #

Merge操作的whenMatched*子句仅对源表和增量表通过连接条件匹配成功的记录生效，不会对全表所有记录做条件判断，这是和单表delete()接口最本质的区别：

• 当删除条件写为changes.flag = True时，判断逻辑作用在已经匹配成功的增量表字段上，只要匹配行满足标记为True就会触发删除，因此可以正常运行。
• 当删除条件写为source.date_field > date_sub(current_date(),7)时不生效，本质是满足date_field时间条件的源表记录，根本没有和增量表latest_change_for_each_key通过你定义的insert_command（即Merge连接条件）匹配上，这些记录根本不会进入whenMatchedDelete的判断流程，自然不会被删除。
• 直接调用delta_source.delete()是单表操作，不需要关联增量表，会直接全表扫描过滤符合条件的记录执行删除，因此可以正常生效。

修复方案 #

根据实际业务场景二选一即可：

• 如果需求是删除源表中所有满足时间条件的记录，不管增量表中有没有对应关联数据：不要用Merge实现，直接调用单表delete()接口即可，Merge是用于两表数据同步的算子，不适合做单表全量条件删除。

• 如果需求是仅删除源表中能和增量表匹配上、且满足时间条件的记录：

  1. 先检查Merge的连接条件（即代码里的insert_command参数），确保需要删除的源表记录，能和增量表的记录通过关联键匹配上。
  2. 保持whenMatched子句的顺序：带条件的删除/更新子句放在前面，无额外条件的whenMatchedUpdateAll放在后面，避免匹配行提前触发通用更新逻辑跳过删除判断。

  参考实现代码：

  delta_source = DeltaTable.forPath(spark, f"{delta_path}")
  
  delta_source.alias("source").merge(
      latest_change_for_each_key.alias("changes"),
      # 替换为实际的关联匹配条件，例如 source.primary_key = changes.primary_key
      insert_command
  )
  .whenMatchedDelete(condition="source.date_field > date_sub(current_date(),7)")
  .whenMatchedUpdateAll()
  .whenNotMatchedInsertAll()
  .execute()
  

注意点 #

Delta Merge的所有whenMatched逻辑都只会作用在两表Join命中的结果集上，任何需要操作未匹配源表记录的需求，都不能只靠Merge完成，需要搭配单独的delete/update接口实现。

内容的提问来源于stack exchange，提问作者Reema