Merge Into语句中分区裁剪失效问题排查（Azure Databricks）

问题背景 #

在Azure Databricks环境中，有一张按Year、Month、Day分区的Delta表，执行Merge Into语句时，在ON条件中指定了分区列常量过滤（oldData.year = '2023'、oldData.month = '10'、oldData.day = '12'）以及关联条件oldData.clientid = newData.clientid，匹配后执行删除操作。但查询运行耗时远超预期（数据量不足100万条），且执行计划中无分区裁剪标识，不符合官方文档描述。

执行的Merge语句 #

MERGE INTO delta.<path of delta table> oldData 
using df newData 
on oldData.year = '2023' and oldData.month = '10' and oldData.day = '12' and oldData.clientid= newData.clientid WHEN MATCHED THEN DELETE

生成的执行计划 #

== Physical Plan ==
Execute MergeIntoCommandEdge
   +- MergeIntoCommandEdge SubqueryAlias newData, SubqueryAlias oldData, Delta[version=4, ... , (((year#3761220 = 2023) AND (month#3761221 = 10)) AND ((day#3761222 = 12) AND (clientid#3761212 = clientid#3532751)))

原因分析 #

1. Merge Into分区裁剪的触发限制
   Delta Lake的Merge Into操作中，分区裁剪仅会在ON条件中的分区过滤完全是常量值，且未关联源表（newData）列时触发。你的ON条件中同时包含了oldData.clientid = newData.clientid这个跨表关联条件，导致优化器无法提前确定需要扫描的分区范围，因此跳过了分区裁剪。

2. 数据类型不匹配
   SQL语句中分区列使用的是字符串值（带单引号的'2023'、'10'），但执行计划显示的是数值比较（year#3761220 = 2023），说明表的分区列实际为数值类型（如INT）。这种类型不匹配会让优化器无法识别分区过滤条件，直接跳过裁剪逻辑。

解决办法 #

1. 修正数据类型匹配 #

将ON条件中的分区值改为与表定义一致的数值类型，去掉单引号：

MERGE INTO delta.<path of delta table> oldData 
USING df newData 
ON oldData.year = 2023 AND oldData.month = 10 AND oldData.day = 12 AND oldData.clientid = newData.clientid 
WHEN MATCHED THEN DELETE

2. 提前过滤分区数据 #

如果必须保留跨表关联条件，可以先将目标表的指定分区数据过滤出来创建临时视图，再对临时视图执行Merge操作：

-- 先过滤目标分区数据
CREATE OR REPLACE TEMP VIEW target_partition AS
SELECT * FROM delta.<path of delta table> WHERE year = 2023 AND month = 10 AND day = 12;

-- 对临时视图执行Merge
MERGE INTO target_partition oldData 
USING df newData 
ON oldData.clientid = newData.clientid 
WHEN MATCHED THEN DELETE;

3. 验证Delta表元数据 #

执行以下命令确认分区列的定义和数据类型，确保过滤条件的值类型与表定义完全一致：

DESCRIBE EXTENDED delta.<path of delta table>;

内容的提问来源于stack exchange，提问作者Jong