在Databricks Repos中使用logging包写入自定义日志文件

你的代码在本地工作区正常，但在Databricks Repos中无法写入DBFS文件，核心原因是多次运行笔记本时logger重复绑定处理器导致输出异常，加上FileHandler缓冲区未即时刷新，结合DBFS挂载特性引发写入失败。以下是针对性修正方案：

修正后的代码 #

import logging

# 获取logger实例，先清空已有处理器避免重复配置
logger = logging.getLogger('server_logger')
logger.handlers.clear()  # 关键：移除之前运行时添加的所有处理器
logger.setLevel(logging.INFO)

# 配置FileHandler，开启即时刷新确保内容写入DBFS
fh = logging.FileHandler('/dbfs/tmp/my_log.log', mode='a', flush=True)
fh.setLevel(logging.INFO)
formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(message)s', datefmt='%Y-%m-%d %H:%M:%S')
fh.setFormatter(formatter)
logger.addHandler(fh)

# 输出日志并强制刷新缓冲区
logger.warning('starting to log the process')
fh.flush()  # 确保日志内容立即写入文件

关键调整说明 #

• 清空logger处理器：Repos中重复运行笔记本时，之前绑定的handler会被保留，导致日志输出逻辑冲突，logger.handlers.clear()可彻底避免该问题。
• 启用即时刷新：在FileHandler中设置flush=True，或显式调用fh.flush()，防止日志内容滞留在内存缓冲区，确保直接写入DBFS。
• 验证写入结果：可通过以下命令快速检查文件是否生成：

# 查看日志文件前1000字符内容
dbutils.fs.head('/dbfs/tmp/my_log.log')

备选方案（兼容DBFS的直接写入方式） #

如果logging配置仍存在兼容性问题，可直接通过文件操作结合dbutils的特性实现日志写入：

import datetime

def write_custom_log(message, level='WARNING'):
    log_content = f"{datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')} - {level} - {message}\n"
    with open('/dbfs/tmp/my_log.log', 'a') as log_file:
        log_file.write(log_content)
        log_file.flush()

write_custom_log('starting to log the process')

内容的提问来源于stack exchange，提问作者DelTheDub