为何无法访问Databricks Delta Lake历史版本1？

你遇到的AnalysisException是因为Delta表的版本1对应的事务日志和数据文件已被清理，具体原因可分为以下几种：

• 自动版本清理机制触发：Delta Lake默认通过delta.logRetentionDuration（默认30天）和delta.deletedFileRetentionDuration（默认7天）两个配置自动清理旧版本。如果版本1的生成时间超出了配置的保留时长，对应的日志和数据文件会被自动删除，导致无法再通过versionAsof访问。

• 手动执行了VACUUM命令：若有人手动执行了VACUUM命令（例如VACUUM delta.saveloc RETAIN 7 DAYS;），强制清理了指定天数前的旧版本文件，而版本1的时间早于该保留天数，就会被彻底移除。

• OPTIMIZE操作间接清理：执行OPTIMIZE命令合并小文件时，Delta Lake会标记旧的底层数据文件为待删除，后续自动清理流程会将这些文件移除，若版本1依赖的文件被合并清理，就无法再访问该版本。

• 存储层外部规则清理：如果Delta表存储在云存储（如S3、ADLS）上，外部的存储生命周期管理规则（比如S3的过期删除策略）可能自动删除了超期的旧文件，导致Delta表的旧版本数据丢失。

验证方式 #

执行以下命令查看表的版本历史，确认版本1是否还存在：

DESCRIBE HISTORY delta.`saveloc`

如果历史记录中没有版本1，即可确认该版本已被清理。

后续建议 #

1. 调整表的版本保留配置，延长旧版本的保留时间（注意会增加存储占用）：

   ALTER TABLE delta.`saveloc` SET TBLPROPERTIES (
     'delta.logRetentionDuration' = '90 days',
     'delta.deletedFileRetentionDuration' = '90 days'
   );
   

2. 执行VACUUM前确认无业务需要访问旧版本，避免设置过短的保留天数。
3. 检查存储层的生命周期规则，确保不会误删Delta表的日志和数据文件。

内容的提问来源于stack exchange，提问作者Patterson