在Trino-Iceberg中使用MERGE时如何限定扫描目标表近期分区？

核心解决方案 #

• 在MERGE语句的ON子句中直接添加分区字段的过滤条件，利用Iceberg的分区剪枝特性缩小扫描范围。例如目标表按dt（日期类型）按天分区，要限定最近7天的数据，SQL写法如下：

  MERGE INTO target_table t
  USING source_table s
  ON t.id = s.id AND t.dt >= CURRENT_DATE - INTERVAL '7' DAY
  WHEN MATCHED THEN
    UPDATE SET t.col1 = s.col1, t.col2 = s.col2
  WHEN NOT MATCHED THEN
    INSERT (id, col1, col2, dt) VALUES (s.id, s.col1, s.col2, s.dt)
  

• 关键注意点：过滤条件必须直接作用于分区字段，不能对分区字段使用函数转换（比如DATE(t.dt)），否则Trino无法触发分区剪枝，仍会全表扫描。

参考内容翻译（原Starburst博客核心段落） #

Apache Iceberg在Trino中的DML（更新、删除、合并）维护

Trino针对Iceberg的MERGE操作做了专项优化，其中包含分区剪枝能力。当MERGE的ON条件中包含分区字段的过滤逻辑时，Trino会读取Iceberg的分区元数据，仅加载符合过滤条件的分区数据，而非扫描整张表。对于按天这类时间维度分区的大表，这一优化能显著降低数据处理量，大幅提升MERGE的执行速度。

同时，Iceberg的快照机制为MERGE操作提供了原子性保障，确保操作要么完全成功，要么完全回滚。在执行过程中，Trino会结合分区过滤快速定位需要匹配的目标行，避免无意义的全表扫描开销。

内容的提问来源于stack exchange，提问作者Amit Sharma