PySpark删除非托管Delta Lake表仅删元数据，文件删除失败求助

你的问题出在：虽然执行了DROP TABLE删除元数据，且用dbutils.fs.rm带递归参数尝试删除存储目录，但外部Azure存储不允许直接删除非空目录，或是Delta表的事务日志、底层文件存在访问锁/权限限制，导致递归删除失败。

以下是几种可行的解决方法：

方法1：通过Delta API清理后删除目录 #

1. 加载Delta表并清空所有数据：

from delta.tables import DeltaTable

delta_table = DeltaTable.forPath(spark, "dbfs:/mnt/ext_source/sparkDeltaTables/default.StoresSales")
delta_table.delete("1=1")  # 删除表内所有数据

2. 清理所有旧版本文件与事务日志（保留0小时即全部清理）：

delta_table.vacuum(0)

3. 最后删除空目录：

dbutils.fs.rm("dbfs:/mnt/ext_source/sparkDeltaTables/default.StoresSales", True)

方法2：逐层清理目录内容 #

如果方法1无效，可手动逐层删除文件与子目录：

• 先删除目录下所有文件：

dbutils.fs.rm("dbfs:/mnt/ext_source/sparkDeltaTables/default.StoresSales/*", True)

• 删除事务日志子目录：

dbutils.fs.rm("dbfs:/mnt/ext_source/sparkDeltaTables/default.StoresSales/_logs", True)

• 最后删除空目录：

dbutils.fs.rm("dbfs:/mnt/ext_source/sparkDeltaTables/default.StoresSales", False)

方法3：用DeltaTable的drop方法一键处理 #

直接调用DeltaTable的drop方法，同时删除元数据与存储数据：

from delta.tables import DeltaTable

delta_table = DeltaTable.forName(spark, "default.StoresSales")
delta_table.deleteData(True).execute()  # deleteData=True会删除底层存储文件

注意事项 #

• 执行vacuum时，确保没有其他作业正在访问该Delta表，避免数据不一致。
• 确认Databricks服务主体对dbfs:/mnt/ext_source/路径拥有删除权限，权限不足也会导致删除失败。

内容的提问来源于stack exchange，提问作者Umer