运行Delta Tables时遇DeltaFileNotFoundException错误求助

错误原因 #

这个错误的核心是Delta表的事务日志文件（示例中的00000000000000000000.json）已被删除——要么是手动误删，要么是触发了Delta的日志自动清理策略（delta.logRetentionDuration=30天、delta.checkpointRetentionDuration=2天），导致Spark无法回溯到版本3重建表的状态。

解决步骤 #

• 确认当前保留策略
  运行以下命令查看表的配置，确认是否是过期清理导致的问题：

  DESCRIBE EXTENDED lead_cdf;
  

  重点查看delta.logRetentionDuration和delta.checkpointRetentionDuration的取值。

• 针对不同场景修复

  1. 手动误删日志文件
     从存储的备份/快照（比如Azure Blob的版本历史、快照功能）中找回缺失的日志文件和对应检查点文件，放回表路径下的_delta_log目录。
  2. 保留策略过期导致日志被清理
     • 先调整保留策略（仅对后续操作生效，无法恢复已清理的日志）：

       ALTER TABLE lead_cdf SET TBLPROPERTIES (
         delta.logRetentionDuration = '90 days',
         delta.checkpointRetentionDuration = '7 days'
       );
       

     • 若无法恢复缺失日志，只能从最近的有效版本重建：
       如果有可用的较新版本，尝试恢复到该版本（确保该版本的日志和检查点存在）：

       RESTORE TABLE lead_cdf TO VERSION AS OF <有效版本号>;
       

       若无可用版本，只能从最近的表备份恢复。

预防措施 #

• 禁止手动删除_delta_log目录下的任何文件，Delta会自动根据策略管理日志生命周期。
• 根据业务需求（比如CDC回溯时长）合理设置保留策略，避免因默认值过短导致日志提前清理。
• 利用存储层的备份功能（如Azure Blob的版本控制、快照）定期备份Delta表，确保数据可恢复。

内容的提问来源于stack exchange，提问作者Rohit Kulkarni