Databricks中VACUUM未删除事务日志不再引用的文件问题排查

核心原因与排查点： #

• 权限与存储配置限制

  • 检查Databricks集群绑定的IAM角色是否拥有目标S3路径的s3:DeleteObject权限，同时确认S3桶策略未禁止删除操作。
  • 若S3路径开启了版本控制，旧文件会转为历史版本对象，VACUUM默认不会清理这类版本化对象，需手动处理版本历史或使用支持版本清理的VACUUM语法（如VACUUM ... DELETE VERSIONS）。
  • 若S3开启了对象锁定（Object Lock），处于锁定状态的文件无法被VACUUM删除，需等待锁定过期或解除锁定。

• VACUUM保留时间阈值

  • Delta Lake默认保留7天的历史文件，即便文件已不在事务日志中，未超过保留期的文件不会被VACUUM清理。
  • 可通过VACUUM catalog.schema.table RETAIN 0 HOURS DRY RUN测试是否能识别旧文件，但生产环境需谨慎使用（需确认无数据回溯需求）；也可临时设置spark.databricks.delta.retentionDurationCheck.enabled=false跳过保留时间检查（不建议长期开启）。

• 表元数据与事务日志一致性

  • 执行DESCRIBE EXTENDED catalog.schema.table确认表的Location指向正确的S3路径，且Provider为delta，避免元数据关联错误。
  • 运行DESCRIBE HISTORY catalog.schema.table查看事务记录，确认OPTIMIZE操作已成功提交，旧文件确实被标记为无引用。若事务日志损坏，需修复表元数据。

• 外部表路径的遗留文件干扰

  • 若S3路径在创建表前存在非Delta格式文件，或之前的操作导致存储与元数据不一致，可能导致VACUUM无法识别待删除文件。可清理路径中无关文件后重新测试。

验证步骤 #

1. 执行VACUUM catalog.schema.table RETAIN 0 HOURS DRY RUN，观察是否列出目标旧文件。
2. 检查集群IAM角色的S3权限清单，确认包含s3:ListBucket、s3:GetObject、s3:DeleteObject。
3. 查看S3控制台的版本控制、对象锁定状态，确认无相关限制。

内容的提问来源于stack exchange，提问作者DumbCoder