Databricks中BlobStorageRotatingFileHandler写入Azure Blob单文件问题

BlobStorageRotatingFileHandler 默认配置适配本地文件轮转逻辑，在Azure Blob存储场景下默认使用块Blob（不支持追加写入）、关闭追加模式，每次触发日志写入时会自动创建带后缀的新Blob；加上Databricks Notebook上下文会保留已挂载的日志Handler，重复运行、未显式刷新缓存都会导致单条日志生成独立文件。

按以下步骤调整配置即可实现所有日志写入单个Blob：

• 初始化Handler时指定Blob类型为追加Blob（AppendBlob），显式开启追加写入模式，调整轮转阈值到大于单批次日志总大小，避免运行中触发文件切割。
• 初始化Logger前清空已挂载的同类型Handler，避免Databricks上下文残留导致多Handler实例重复写入。
• 所有日志输出完成后显式调用刷新、关闭方法，将缓存中的日志一次性追加写入目标Blob，避免上下文回收时触发分片上传。

import logging
from azure_storage_logging.handlers import BlobStorageRotatingFileHandler

# 初始化日志实例
log = logging.getLogger('service_logger')
log.setLevel(logging.DEBUG)
# 清空上下文残留的已有Handler，防止重复挂载
if log.handlers:
    log.handlers.clear()

# 配置Blob存储日志Handler
azure_blob_handler = BlobStorageRotatingFileHandler(
    filename = "name.csv",
    account_name="xyz",
    account_key="&&&",
    maxBytes=5*1024*1024, # 设置轮转阈值为5MB，阈值内日志全部写入同一文件
    container="abc",
    blob_type="AppendBlob", # 核心配置：使用支持追加写入的AppendBlob类型
    append=True, # 核心配置：开启追加模式，不新建文件
    encoding="utf-8"
)
azure_blob_handler.setLevel(logging.DEBUG)
log.addHandler(azure_blob_handler)

# 业务日志输出
log.info("Start processing file....")
log.info("Processsed file successfully")
log.info("End file successfully")

# 显式刷新缓存、关闭Handler，确保所有日志写入完成
azure_blob_handler.flush()
azure_blob_handler.close()

• 所有日志写入逻辑统一放在Driver节点执行，不要在Executor的分布式任务中直接调用该Logger，Executor为独立进程，每个进程初始化的Handler会单独创建Blob。
• 当日志总大小超过设置的maxBytes阈值时，才会自动生成带序号后缀的轮转文件，阈值内的所有日志都会写入同一个name.csv。
• 提前确认存储账户访问密钥拥有对应容器的追加Blob写入权限，否则追加模式会抛出权限错误。

内容的提问来源于stack exchange，提问作者sotn