如何在Apache Iceberg中真正删除底层数据文件？

你不需要独立跟踪管理每个文件的生命周期，Iceberg本身提供了直接清理底层数据文件的机制，完全可以满足你放弃时间旅行一致性、物理删除文件的需求：

• 核心操作：过期快照并删除关联文件
  Iceberg的expire_snapshots操作不仅可以删除旧快照的元数据，还能同时删除不再被任何快照引用的底层数据文件。关键是要开启物理删除的开关：

  • 通过配置项启用自动删除：设置write.delete-after-expire.enabled=true，这样每次执行快照过期操作时，会自动清理对应的底层文件。
  • 手动触发时指定删除：在调用expire_snapshots时显式声明删除文件（不同客户端语法略有差异），比如：
    • Spark SQL：ALTER TABLE your_table EXPIRE SNAPSHOTS RETAIN 0 DAYS, DELETE FILES;（保留0天快照即删除所有旧快照，并清理关联文件）
    • Iceberg Java API：

      table.expireSnapshots()
           .expireOlderThan(System.currentTimeMillis()) // 过期所有快照
           .deleteFiles(true) // 开启物理删除文件
           .commit();
      

• 清理孤立文件
  对于那些因失败的写入操作遗留、未被任何快照引用的孤立文件，可以使用remove_orphan_files操作清理：

  • Spark SQL：ALTER TABLE your_table REMOVE ORPHAN FILES;
  • API方式：table.removeOrphanFiles().commit();

• 配合数据删除操作的流程
  如果是执行DELETE语句后需要立即物理删除对应文件，可以按以下流程操作：

  1. 执行DELETE语句（此时仅屏蔽数据，生成新快照）
  2. 执行EXPIRE SNAPSHOTS删除旧快照并清理关联文件
  3. 可选执行REMOVE ORPHAN FILES清理遗留文件

注意：执行这些操作后，旧快照对应的时间旅行功能会失效，完全符合你的业务需求。

内容的提问来源于stack exchange，提问作者zachd1_618