Iceberg如何移除分区关联文件且不物理删除？解决add_files重复问题

要解决你遇到的重复文件导入问题，核心是只清理Iceberg元数据中对目标分区文件的引用，不删除物理文件，完全不用删表重建，具体步骤如下：

1. 定位目标分区的关联文件 #

先查询Iceberg表的元数据，确认之前导入的date='2023-03-16', hour='12'分区下的所有文件：

SELECT file_path, file_id 
FROM db.tbl.files 
WHERE partition.date = '2023-03-16' AND partition.hour = '12'

这条SQL会列出该分区下所有在Iceberg元数据中登记的文件路径和ID，方便后续精准清理。

2. 用remove_files清理元数据引用 #

Iceberg自带的remove_files存储过程可以直接删除元数据里的文件引用，不会碰存储上的物理文件：

方式一：指定单个/多个文件路径 #

如果只需要清理报错的那个文件：

CALL spark_catalog.system.remove_files(
  table => 'db.tbl',
  files => array(
    '/xxx/part-00000-d9d0137c-d7d6-46f5-b78a-9f68b977c7af.c000.zstd.parquet'
  )
)

方式二：批量清理整个小时分区 #

如果要一次性清理该小时分区的所有文件引用，直接用分区过滤更高效：

CALL spark_catalog.system.remove_files(
  table => 'db.tbl',
  partition_filter => map('date', '2023-03-16', 'hour', '12')
)

3. 验证清理结果 #

执行完清理后，再查一遍文件表确认引用已移除：

SELECT COUNT(*) 
FROM db.tbl.files 
WHERE partition.date = '2023-03-16' AND partition.hour = '12'

返回0就说明元数据里的引用已经清干净了。

4. 重新导入全量分区 #

现在可以安全执行全量分区的add_files操作，不会再触发重复文件报错：

CALL spark_catalog.system.add_files(
  table => 'db.tbl',
  source_table => 'db.src_tbl',
  partition_filter => map('date', '2023-03-16')
)

额外提示 #

• 操作前建议先给表打个快照备份，防止误操作：

  CALL spark_catalog.system.snapshot_table('db.tbl')
  

• remove_files在Iceberg 1.1.0及以上版本稳定支持，如果你的版本低于这个，可能需要用Spark DataFrame API手动操作元数据，但推荐优先升级到稳定版本。

内容的提问来源于stack exchange，提问作者Dyno Fu