Databricks运行PySpark时如何将标准输出/错误日志保存至Azure BLOB存储

该需求完全可实现，无需额外采购第三方服务，通过Databricks原生存储对接能力+少量代码/集群配置调整，就能达到和本地运行时一致的全量日志采集效果，所有stdout、stderr、报错栈信息都能统一写入Azure Blob存储。

你可以根据自己的场景选两种方案，作业级自定义采集灵活度高，集群全局投递零代码成本低。

方案1：作业级自定义日志采集（单管道适配，不影响其他作业） #

这个方案不用改集群全局配置，只需要在你的PySpark管道代码开头加一段配置，就能同时保留Databricks原生UI的日志查看能力，还能把全量日志同步到Blob。

• 前置准备：确认你的Databricks集群已经有权限访问目标Azure Blob容器，要么在集群配置里挂载了存储账号，要么准备好存储账号的访问密钥/SAS令牌，Blob的写入路径格式固定为wasbs://<你的容器名>@<存储账号名>.blob.core.windows.net/<日志存放目录>/，标准Databricks集群默认内置WASBS连接器，不需要额外安装依赖包。
• 重定向Driver端输出：Python进程的标准输出、标准错误在Driver节点可以直接通过重定向sys流实现采集，参考代码如下：

import sys
from datetime import datetime

# 获取当前作业运行ID，避免不同运行的日志文件互相覆盖
run_id = spark.conf.get("spark.databricks.job.runId", "manual_interactive_run")
# 替换成你自己的Blob日志路径
target_log_path = f"wasbs://pipelinedblogs@youradlsaccount.blob.core.windows.net/runtime_logs/{run_id}_{datetime.now().strftime('%Y%m%d_%H%M')}.log"

class BlobLogWriter:
    def __init__(self, log_save_path):
        self.save_path = log_save_path
        self.log_buffer = []
        # 保留原有输出流，不影响Notebook/作业面板实时看日志
        self.origin_out = sys.stdout
        self.origin_err = sys.stderr

    def write(self, content):
        self.origin_out.write(content)
        self.log_buffer.append(content)
        # 累计100条日志刷一次盘，平衡内存占用和写入频率
        if len(self.log_buffer) >= 100:
            self.flush()

    def flush(self):
        if self.log_buffer:
            # 直接追加写入Blob，不需要落本地临时文件
            dbutils.fs.put(self.save_path, "".join(self.log_buffer), append=True)
            self.log_buffer.clear()

    def close(self):
        self.flush()

# 绑定重定向规则
sys.stdout = BlobLogWriter(target_log_path)
sys.stderr = BlobLogWriter(target_log_path)

# 代码末尾加一句，作业结束前把剩余缓冲区日志全部写入
sys.stdout.close()
sys.stderr.close()

• 补全Executor端日志采集：PySpark中UDF、RDD算子内的打印和报错是运行在Executor节点的，不会走Driver的sys流重定向，这部分你可以在集群Spark配置项里加几行配置，指定Executor的日志输出直接同步到Blob路径：
  • spark.executor.logs.rolling.strategy = time
  • spark.executor.logs.rolling.time.interval = daily
  • spark.executor.logs.rolling.enableCompression = true
  • spark.executor.logs.rolling.dir = wasbs://pipelinedblogs@youradlsaccount.blob.core.windows.net/executor_logs/
    配置完之后Executor的所有输出会自动按天滚动写入指定的Blob目录。

方案2：集群全局日志投递（全作业统一采集，零代码） #

如果你需要采集集群上所有作业的运行日志，不需要单作业单独配置，直接在集群的「日志投递」配置项里，选择投递目标为Azure Blob Storage，填写对应的容器名、访问凭据、日志路径即可。
配置生效后集群会自动把所有节点的Driver、Executor标准输出、标准错误、Spark服务日志全量同步到你指定的Blob目录，不需要改任何业务代码。这个方案的缺点是日志按节点分文件存储，如果你需要单作业维度的聚合日志，需要自己按作业ID做一次文件合并筛选。

不要先把日志写到集群节点本地磁盘再上传，Databricks集群节点是弹性回收的，本地磁盘存储为临时存储，节点释放后本地文件会直接丢失，直接写入WASBS路径的方式稳定性最高。如果你的管道是长时间运行的结构化流作业，记得给日志类加个定时刷盘逻辑（比如每30秒强制flush一次），避免日志长时间滞留在内存中丢失。

内容的提问来源于stack exchange，提问作者bda