如何避免Iceberg Merge操作中的全表扫描？

核心结论：分场景判断两步操作的适用性 #

1. 源表为全量数据集（目标需完全同步源数据） #

这种场景下，delete from target_table + insert into target_table的两步操作远优于merge：

• Iceberg的全表delete是元数据级操作，无需扫描目标表的10GB数据，仅通过快照标记即可完成；
• 插入仅需扫描源表2GB数据，总扫描量仅2GB，对比merge的12GB全量扫描，资源消耗大幅降低；
• 操作逻辑简单，避免了merge时全表join的计算开销。

注意：可通过Athena的Iceberg事务包裹两步操作，保证原子性，避免中间状态暴露。

2. 源表为增量更新数据集（仅需新增/更新部分记录，保留目标表原有数据） #

这种场景下，delete+insert完全不可行——会误删目标表中未被源表覆盖的有效数据。此时需优化merge操作：

• 确保源表与目标表分桶规则完全一致：两者都需按bucket(_pk,100)分桶，Athena才能利用分桶实现分区级join，避免全表扫描；
• 提前过滤源表数据：在source子查询中先过滤掉无需更新的记录（例如先对比源与目标的差异，仅保留需要新增/更新的行），减少join的数据量；
• 升级Athena引擎版本：较新版本的Athena对Iceberg merge的谓词下推、分桶优化支持更完善，能有效减少扫描范围。

补充说明 #

你当前的merge操作触发全表扫描，大概率是Athena未利用分桶规则进行join优化——即使目标表分桶，若源表未按相同规则分桶，或引擎版本不支持分桶join，仍会触发全量扫描。

内容的提问来源于stack exchange，提问作者cpstone