Loguru无法写入日志至Databricks Unity Catalog外部卷问题咨询

问题现象 #

已在Databricks Unity Catalog配置名为logs的外部卷，可通过os.path.exists('/Volumes/my_catalog/schema_name/logs')验证存在，且用open函数能正常写入文件并在UI中查看。但使用Loguru写入日志时，日志文件仅能通过os.listdir临时看到，集群重启后消失；即使新增子目录（如/Volumes/my_catalog/schema_name/logs/additional_folder/）能成功创建，日志文件仍无法持久化到卷中。相同代码在挂载的Azure Blob存储中可正常运行。

可能原因及解决方案 #

1. Loguru缓冲机制未即时同步到云存储 #

Loguru默认启用文件输出缓冲，而Databricks Unity Catalog卷的本地挂载点与底层云存储之间不会自动即时同步内存缓冲内容。os.listdir仅能读取本地缓存的文件条目，实际内容未写入云存储，集群重启后缓存丢失导致文件消失。

解决方法：
添加Loguru handler时强制开启即时刷新：

logger.add(file_handler_path, flush=True)

或在日志写入完成后手动触发缓冲刷新：

logger.info('my info')
logger.flush()

2. 本地文件系统与Unity Catalog卷的同步延迟 #

Unity Catalog卷的本地挂载目录与云存储存在同步延迟，os模块读取的是本地缓存数据，而非云存储的实时状态。重启集群后本地缓存被清空，就无法看到之前的文件。

解决方法：
使用Databricks原生的dbutils.fs工具验证文件状态，替代os模块：

# 验证文件是否存在于云存储
dbutils.fs.ls(file_handler_path)
# 确保目录存在（自动同步到云存储）
dbutils.fs.mkdirs(LOGS_FOLDER_PATH)

3. 路径拼接或权限问题 #

手动拼接路径可能出现隐性错误，或运行笔记本的主体未获取卷的持久化写入权限。

解决方法：

• 用os.path.join规范路径拼接，避免斜杠等格式问题：

file_handler_path = os.path.join(LOGS_FOLDER_PATH, f"{DATE_TIME_STRING}.log")

• 在Unity Catalog中检查卷的权限配置，确保当前运行主体拥有WRITE权限。

内容的提问来源于stack exchange，提问作者the_economist