如何修复Azure存储中Delta Lake表元数据与文件结构不匹配问题？

问题根源 #

Delta表依赖事务日志记录文件的存储位置，你直接在Azure Blob中重命名分区路径后，旧的事务日志条目仍指向已失效的路径，导致查询该时间点之前的历史版本时触发“文件缺失”错误。

修复步骤 #

1. 修复最新表快照

首先执行REPAIR TABLE命令，让Delta表重新扫描底层Blob存储，更新最新快照的元数据，移除无效的文件引用并添加新路径的文件：

REPAIR TABLE your_table_name;

如果使用PySpark代码：

from delta.tables import DeltaTable

delta_table = DeltaTable.forPath(spark, "abfss://your-container@your-storage-account.dfs.core.windows.net/path/to/table")
delta_table.repair()

执行完成后，查询表的最新版本将恢复正常。

2. 处理历史版本查询问题（可选）

如果不需要保留2024年之前的历史版本查询能力，可通过VACUUM清理旧的事务日志和无效文件引用（注意设置合理的保留期，避免误删正在使用的版本）：

VACUUM your_table_name RETAIN 7 DAYS;

该命令会删除超过保留期的事务日志和对应文件，后续查询历史版本时，仅保留期内的有效版本可访问。

如果需要保留历史版本的可查询性，唯一安全的方案是恢复旧路径的文件（将重命名后的路径改回原名称），否则旧事务日志指向的路径始终无效，无法通过Delta的时间旅行正常查询。

重要提醒 #

永远不要直接修改Delta表底层的存储路径或文件，所有数据变更（包括分区值修正）都应通过Delta官方支持的操作（如UPDATE、MERGE、ALTER TABLE）执行，确保事务日志与实际存储同步。

内容的提问来源于stack exchange，提问作者tsnowlan