Spark操作Iceberg表同分区并发更新时出现冲突删除文件错误

这并非预期行为，核心问题出在Iceberg当前对同一分区内并发更新的冲突校验逻辑上：

冲突根源 #

• 即便两次更新针对分区内不同数据文件的不同条目，snapshot和serializable隔离级下，更新操作都会生成对应分区的删除文件（delete file）。第二个写入者提交时，会检测到该分区已存在新的删除文件，触发Found new conflicting delete files that can apply to records matching ...报错——当前Iceberg的冲突校验粒度是分区级，而非数据文件或行级。
• 你测试的“同一分区插入、不同分区更新正常”也验证了这一点：插入操作不会生成删除文件，不同分区不在同一校验范围内，因此不会触发冲突。

对文档描述的澄清 #

Iceberg文档提到的乐观锁并发写入和“复用重试工作”，是指冲突发生后，写入者可以复用已完成的计算（如生成的数据文件），仅重新处理冲突部分，避免全量重算，而非完全消除同一分区内更新的冲突。

可行解决方案 #

• 启用行级冲突检测：若使用Iceberg 1.3.0及以上版本，可配置write.delete.mode=merge-on-read和write.conflict-mode=row-level，将冲突校验粒度缩小到行级，仅当真正存在行重叠时才报错。
• 添加应用层重试：利用Iceberg的重试复用能力，在应用侧实现自动重试逻辑，冲突时无需从头执行计算。
• 细化分区粒度：业务允许的情况下，将大分区拆分为更细粒度的分区，减少同一分区内的并发更新场景。

内容的提问来源于stack exchange，提问作者CS1999