手动删除Delta Lake数据文件后读取报错，求修复事务日志或解决办法

方法一：使用Delta Lake原生修复命令（推荐） #

Delta Lake内置了针对这类问题的修复工具，直接执行以下命令即可移除日志中指向已删除文件的无效记录：

SQL方式 #

REPAIR TABLE delta.`/mnt/path/data`

Python API方式 #

from delta.tables import DeltaTable

delta_table = DeltaTable.forPath(spark, "/mnt/path/data")
delta_table.repair()

方法二：手动清理事务日志（谨慎操作） #

若上述命令无效，可手动处理事务日志：

• 找到Delta表目录下的_delta_log文件夹，其中存储JSON格式的事务日志文件
• 备份所有日志文件后，遍历日志内容，删除包含已删除文件路径的记录
• 重启Spark会话后重新读取表

方法三：重建Delta表 #

如果前两种方法都无法解决，只能通过重建表恢复：

1. 读取目录中剩余的有效Parquet文件（Delta底层存储格式为Parquet）：

remaining_df = spark.read.parquet("/mnt/path/data/*.parquet")

2. 清空原表目录后重新写入Delta格式：

# 清空原目录（可选，确保环境干净）
dbutils.fs.rm("/mnt/path/data", recurse=True)
# 重新写入Delta表
remaining_df.write.format("delta").save("/mnt/path/data")

注意事项 #

• 后续操作Delta表必须使用Delta提供的DELETE/MERGE等官方命令，禁止手动删除底层数据文件
• spark.sql.files.ignoreCorruptFiles仅处理损坏文件，无法解决事务日志引用缺失文件的问题，因此之前的配置无效

内容的提问来源于stack exchange，提问作者Pysparker