如何在Databricks中记录Python自定义应用日志并迁移至Azure？

一、直接利用Databricks原生日志功能 #

Databricks运行作业（包括你用Wheel包提交的）时，默认会自动收集并保存日志，无需额外开发：

• 查看日志：打开作业详情页的「日志」标签，就能看到驱动节点的stdout/stderr输出；如果是集群模式，去对应集群的「日志」标签可查看每个执行器的日志
• 持久化保障：这些日志会存在Databricks控制平面的存储中，就算集群销毁，作业历史里的日志依然可查
• 导出日志：要么在日志页面直接下载文件，要么用Databricks CLI导出：

  databricks jobs export-run-logs --run-id <你的作业运行ID> --destination-dir ./local-log-dir
  

二、适配Databricks的自定义日志方案 #

针对你的跨平台Wheel包，调整日志逻辑就能解决集群存储易失、DBFS不能追加的问题：

• 先判断运行环境：直接检查环境变量DATABRICKS_RUNTIME_VERSION是否存在，即可区分是否在Databricks环境中
• 替代DBFS的写入方案：
  • 使用Unity Catalog卷：卷支持文件追加操作，把日志写到/Volumes/<catalog>/<schema>/<volume>/logs/路径即可，卷的存储是持久化的，集群销毁后日志不会丢失
  • 实时写入Azure Blob：跳过本地/DBFS中转，在Databricks里直接用Azure SDK将日志写入Blob；担心网络波动的话，可先在内存缓存小批量日志，攒够一定量再批量写入
• 兜底机制：如果Blob写入失败，直接把日志输出到stdout/stderr，借助Databricks原生日志收集功能兜底，确保日志不会丢失

三、跨平台日志初始化代码示例 #

在你的Wheel包里添加环境判断的日志初始化逻辑：

import os
import logging
from azure.storage.blob import BlobServiceClient

def init_app_logger():
    logger = logging.getLogger("my-app-logger")
    logger.setLevel(logging.INFO)
    formatter = logging.Formatter("%(asctime)s - %(levelname)s - %(message)s")

    # 检测是否处于Databricks环境
    is_running_on_databricks = "DATABRICKS_RUNTIME_VERSION" in os.environ

    if is_running_on_databricks:
        # 优先直接写入Azure Blob
        blob_service_client = BlobServiceClient.from_connection_string("<你的Blob连接字符串>")
        blob_client = blob_service_client.get_blob_client(container="app-logs", blob="run.log")
        
        # 自定义日志处理器，支持追加写入Blob
        class BlobAppendHandler(logging.Handler):
            def emit(self, record):
                log_line = formatter.format(record) + "\n"
                blob_client.append_block(log_line.encode("utf-8"))
        
        logger.addHandler(BlobAppendHandler())

        # 兜底：同时输出到控制台，让Databricks原生日志收集
        console_handler = logging.StreamHandler()
        console_handler.setFormatter(formatter)
        logger.addHandler(console_handler)
    else:
        # 独立节点原有逻辑：本地文件存储+事后迁移Blob
        file_handler = logging.FileHandler("local-app.log")
        file_handler.setFormatter(formatter)
        logger.addHandler(file_handler)
        # 后续迁移Blob的逻辑保持不变

    return logger

内容的提问来源于stack exchange，提问作者shankar