Athena/Iceberg MERGE INTO同一键DELETE与UPDATE未同时生效问题排查

你的问题核心在于Iceberg MERGE INTO的匹配规则优先级与单次处理限制：

• MERGE INTO的WHEN MATCHED子句按声明顺序依次匹配，且每个目标行只会被第一个符合条件的子句处理一次，不会再参与后续的匹配判断。
• 你的临时表中，keys_id=1对应两条数据：一条event_name='MODIFY'，一条event_name='REMOVE'。执行MERGE时，目标表id=1的行先匹配到MODIFY的条件，执行UPDATE后，该目标行就被标记为已处理，不会再触发后续的REMOVE条件，所以删除操作没生效。
• 移除UPDATE条件后，REMOVE的条件成为第一个匹配项，目标行被正常删除，符合预期。

要让REMOVE生效，调整WHEN MATCHED子句的顺序，把REMOVE条件放在MODIFY之前，确保优先级更高的删除操作先执行：

MERGE INTO new_db_test.test_iceberg_table AS target 
USING new_db_test.staging_table AS source
ON target.id = source.keys_id
WHEN MATCHED AND source.event_name = 'REMOVE'
THEN DELETE
WHEN MATCHED AND source.event_name = 'MODIFY' 
THEN UPDATE SET name = source.name, id = source.id
WHEN NOT MATCHED AND source.event_name = 'INSERT' 
THEN INSERT (id, name) 
VALUES (source.id, source.name)

如果业务逻辑中同一keys_id下REMOVE优先级最高，也可以先对临时表做预处理，确保每个keys_id只保留最高优先级的操作（比如先过滤掉已标记REMOVE的行的其他操作）。

• Iceberg官方文档MERGE INTO章节：重点关注匹配顺序、单目标行单次处理、原子性保证这几个核心规则，文档明确规定了子句顺序直接影响执行结果。
• Iceberg官方技术博客：搜索MERGE INTO相关文章，里面有原理剖析和多场景最佳实践，比如如何处理多源行匹配的冲突问题。
• Iceberg社区技术分享：比如Apache Iceberg的Meetup资料、Confluence技术页面，里面会讲解MERGE INTO的执行流程细节，包括执行计划生成、ACID特性的实现逻辑。

内容的提问来源于stack exchange，提问作者Azeem Akhter