Azure Databricks写入Delta时生成随机文件夹的原因咨询

这些随机文件夹是什么？ #

这些以短随机字符（比如xJ）命名的文件夹是Delta Lake写入过程中生成的临时中间存储目录，专门用来存放本次写入操作的中间数据文件，属于Delta事务机制的组成部分。

为何会创建这些文件夹？ #

结合你使用的Databricks Runtime 13.2.x和WriteSerializable隔离级别，Delta Lake通过以下逻辑保证ACID事务一致性：

• 执行df.write.format('delta').mode('overwrite').save("abfss://container@storage.dfs.core.windows.net/some_path/events")时，系统会先将数据写入这些临时文件夹，确保所有数据块都成功持久化到存储后，再更新Delta日志（_delta_log目录下的文件）来确认事务完成。
• 这种"先写临时目录，再提交日志"的方式，能避免写入过程中因故障导致的部分数据残留，保证写入操作的原子性——要么全量数据写入生效，要么全部回滚，不会出现数据不一致的状态。
• 正常情况下，事务成功提交后，Delta Lake会自动清理这些临时文件夹；但如果写入任务异常终止（比如集群宕机、任务被强制中断），这些临时目录可能会残留下来。

残留的临时文件夹怎么处理？ #

• 对于事务已完成的残留临时文件夹，可直接手动删除，不会影响Delta表的完整性，因为Delta日志已记录了有效数据的存储位置。
• 也可以使用Delta Lake的VACUUM命令清理超过保留期的无用文件（默认保留7天，可按需调整），或者运行OPTIMIZE命令时附带清理逻辑。

内容的提问来源于stack exchange，提问作者Harshit Mahajan