Apache Iceberg存储分区连接（SPJ）在Merge操作中无法触发求助

问题背景 #

使用Apache Spark 3.5.1 + Apache Iceberg 1.4.3，对两个采用相同bucket分区策略（bucket(2, id)）的Iceberg表执行Merge操作，已配置SPJ相关参数，但执行计划始终使用SortMergeJoin（SMJ），无法触发SPJ。

排查与解决方案 #

1. 检查Iceberg版本对Merge场景SPJ的支持 #

Iceberg 1.4.3中，Merge操作对SPJ的优化支持存在局限性。SPJ在Merge场景下的完整适配是在1.5.0及更高版本中逐步完善的。如果条件允许，尝试升级Iceberg至1.5.0+版本，这是解决该问题最直接的方式。

2. 关闭动态分区裁剪（Dynamic Partition Pruning） #

从执行计划可见，当前查询启用了动态分区裁剪（RuntimeFilters: [dynamicpruningexpression(_file#1600 IN subquery#1601)]），这会引入子查询打破分区对齐条件，干扰SPJ触发。通过以下参数关闭：

spark.conf.set("spark.sql.optimizer.dynamicPartitionPruning.enabled", "false")
spark.conf.set("spark.sql.optimizer.dynamicPartitionPruning.reuseBroadcastOnly", "false")

3. 显式关联分区键与Join条件 #

虽然两张表都按bucket(2, id)分区，但优化器需要明确识别Join条件与分区键的依赖关系。尝试在Merge的ON条件中显式关联自动生成的分区列：

MERGE INTO default.emp_table target
USING default.emp_table_stage source
    ON target.id = source.id AND target.id_bucket = source.id_bucket
WHEN MATCHED THEN UPDATE SET *
WHEN NOT MATCHED THEN INSERT *

注：id_bucket是Iceberg自动生成的分区列，可通过DESCRIBE EXTENDED default.emp_table查看。

4. 调整SPJ核心参数组合 #

确保以下关键参数正确设置，避免冲突：

// 核心SPJ启用参数
spark.conf.set("spark.sql.sources.v2.bucketing.enabled", "true")
spark.conf.set("spark.sql.sources.v2.bucketing.partiallyClusteredDistribution.enabled", "true")
spark.conf.set("spark.sql.requireAllClusterKeysForCoPartition", "false")
spark.conf.set("spark.sql.iceberg.planning.preserve-data-grouping", "true")

// 禁用SMJ偏好，优先尝试SPJ
spark.conf.set("spark.sql.join.preferSortMergeJoin", "false")

// 关闭自适应执行，避免干扰分区对齐
spark.conf.set("spark.sql.adaptive.enabled", "false")

5. 验证表的分区数据完整性 #

如果测试数据量过小（比如仅6条），Iceberg可能不会实际执行分桶存储，导致SPJ无法触发。可以插入更多数据，或对表执行Optimize操作确保分区数据对齐：

OPTIMIZE default.emp_table
OPTIMIZE default.emp_table_stage

6. 使用Join Hint强制SPJ #

尝试在Merge语句中添加COALESCE_BUCKETS hint，强制优化器使用分桶对齐的Join策略：

MERGE INTO default.emp_table target
USING (SELECT /*+ COALESCE_BUCKETS(2) */ * FROM default.emp_table_stage) source
    ON target.id = source.id
WHEN MATCHED THEN UPDATE SET *
WHEN NOT MATCHED THEN INSERT *

总结 #

优先尝试升级Iceberg版本，其次关闭动态分区裁剪并调整参数组合，同时确保表的分区数据实际对齐。如果以上方法仍不生效，可查阅Spark与Iceberg的兼容性文档，确认当前版本组合对Merge场景SPJ的支持情况。

内容的提问来源于stack exchange，提问作者sho