Delta Lake Merge改写无变更文件问题求助

问题根源：Merge关联条件的分区筛选逻辑 #

你写的Merge关联条件target.PARTITION IN ({partition_list}) AND target.HASHKEY = source.HASHKEY，会让Delta Lake的Merge引擎把所有匹配PARTITION IN ({partition_list})的目标分区数据全量加载进来参与匹配，而不是只加载和source中有对应HASHKEY的目标行。

当某个分区的源数据和目标数据完全一致时，虽然没有行需要更新或插入，但Merge执行流程里，引擎还是会先扫描该分区的所有文件。这些行既不满足whenMatchedUpdate的变更条件，也不满足whenNotMatchedInsert的插入条件，但引擎依然会把这些无变更的行重新写入新文件，同时标记原文件为已删除——这就是你看到“无变更分区被完整改写”的原因。

关于numTargetRowsCopied的理解 #

你的理解完全正确：理想状态下，numTargetRowsCopied应该等于参与Merge但没有任何变更的行数，而非所有参与Merge的分区总行数。但当前Delta Lake的Merge实现机制是，只要目标分区被纳入了Merge的扫描范围（即匹配了关联条件里的分区筛选），哪怕该分区没有任何行需要更新或插入，引擎都会把这些行全部复制到新文件中，所以numTargetRowsCopied会统计所有扫描到的目标分区行数，而非仅无变更的行数。

可选优化方向 #

如果想避免无变更分区被改写，可以调整Merge的关联逻辑：

• 先从df_subset_relevant中提取实际有数据的分区值，生成更精准的分区列表，而不是提前指定最近X个分区
• 把Merge关联条件改成：

  "target.PARTITION = source.PARTITION AND target.HASHKEY = source.HASHKEY"
  

  这种写法会让Delta Lake只加载目标表中与源表分区、HASHKEY都匹配的行，而非整个分区的所有数据。但要注意，这种写法无法直接插入“源表存在但目标表对应分区不存在”的行——如果需要这类插入逻辑，要么单独处理插入，要么保留原分区筛选，但是在Merge前先判断源表对应分区是否有实际变更（比如对比源和目标分区的HASH统计值），再决定是否执行该分区的Merge。

内容的提问来源于stack exchange，提问作者ExploitedRoutine