为何Spark在WHERE子句使用子查询时跳过分区过滤？

针对你遇到的问题，这里有几个SQL层面的解决方案和配置调整方向：

1. 开启动态分区修剪配置 #

Spark的动态分区修剪（Dynamic Partition Pruning）功能专门用于处理子查询关联分区键的场景，部分版本中默认配置可能未完全适配这类场景，你可以手动开启以下配置：

SET spark.sql.optimizer.dynamicPartitionPruning.enabled = true;
SET spark.sql.dynamicPartitionPruning.reuseBroadcastOnly = false;

第一个配置启用动态分区修剪核心功能，第二个配置允许Spark突破广播Join的限制，针对你这种子查询为常量集合的场景，优化器能识别出可下推的分区过滤条件。

2. 改写SQL为Join形式 #

用INNER JOIN替代IN子查询，这种写法更易被Spark优化器识别为分区键过滤逻辑：

SELECT t.*
FROM my_table t
INNER JOIN (VALUES('2023-01-06'), ('2023-01-07')) AS target_dates(snapshot_date)
ON t.snapshot_date = target_dates.snapshot_date

Join条件直接关联分区键，Spark会自动将target_dates中的常量值作为分区过滤条件下推，触发PartitionFilters。

3. 改用CTE明确常量集合 #

如果偏好子查询形式，可以用CTE（公共表表达式）声明目标日期集合，部分Spark版本对CTE的优化支持更稳定：

WITH target_dates AS (
    SELECT '2023-01-06' AS snapshot_date UNION ALL
    SELECT '2023-01-07' AS snapshot_date
)
SELECT * FROM my_table WHERE snapshot_date IN (SELECT snapshot_date FROM target_dates)

4. 检查Spark版本 #

若使用的是Spark 2.x版本，这类子查询的分区过滤支持有限，建议升级到Spark 3.0及以上版本——3.x系列对谓词下推和动态分区修剪的优化更完善，能覆盖更多复杂场景。

内容的提问来源于stack exchange，提问作者Pasiasty2077