如何捕获Dask Worker控制台日志至文件？进程分离日志分存需求

要解决这个问题，核心是利用Dask客户端和Worker分属不同进程的特点，分别为它们配置独立的日志系统——既要捕获Worker进程中任务的输出（包括print的内容），也要单独存下客户端进程的日志。下面分步骤给出具体实现方案：

一、配置Dask Worker的日志输出到文件 #

Worker的日志包括自身运行日志和任务中产生的输出（比如你示例里的print("dask_worker_log_msg")），可以通过两种方式配置：

方式1：启动Worker时通过命令行参数指定日志文件 #

如果是通过命令行启动Worker，可以直接用--log-file参数指定日志文件，同时用--redirect-stderr和--redirect-stdout把任务中的print和错误输出也捕获到日志里：

dask-worker <scheduler_address> --log-file worker.log --redirect-stderr --redirect-stdout

这样Worker的所有日志（包括任务的print内容）都会写入worker.log文件。

方式2：代码中启动Worker时配置日志 #

如果是在Python代码中启动Worker，可以通过Worker类的参数和配置logging模块来实现：

from dask.distributed import Worker
import logging
import sys

# 配置Worker的日志记录器
worker_logger = logging.getLogger('distributed.worker')
worker_logger.setLevel(logging.INFO)
# 创建文件处理器，输出到worker.log
worker_file_handler = logging.FileHandler('worker.log')
worker_file_handler.setFormatter(logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s'))
worker_logger.addHandler(worker_file_handler)

# 重定向Worker的stdout/stderr到日志，捕获任务中的print内容
sys.stdout = worker_file_handler.stream
sys.stderr = worker_file_handler.stream

# 启动Worker
worker = Worker(<scheduler_address>)
worker.start()

二、配置Dask客户端的日志输出到独立文件 #

客户端进程的日志（包括你示例里的print("dask_client_log_msg")）需要单独配置客户端的日志记录器，同样可以通过logging模块实现：

from dask.distributed import Client
import logging
import sys

# 配置客户端的日志记录器
client_logger = logging.getLogger('distributed.client')
client_logger.setLevel(logging.INFO)
# 创建文件处理器，输出到client.log
client_file_handler = logging.FileHandler('client.log')
client_file_handler.setFormatter(logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s'))
client_logger.addHandler(client_file_handler)

# 重定向客户端的stdout到日志，捕获客户端的print内容
sys.stdout = client_file_handler.stream

# 初始化客户端
client = Client(<scheduler_address>)

def my_task():
    # 任务中的print会被Worker的日志捕获
    print("dask_worker_log_msg")
    # 也可以用logging输出更规范的任务日志
    logging.getLogger('distributed.worker').info("这是Worker任务的结构化日志")

# 提交任务并获取结果
future = client.submit(my_task)
result = future.result()

# 客户端的print会被客户端日志捕获
print("dask_client_log_msg")
# 用客户端日志器输出结构化日志
client_logger.info("这是客户端的结构化日志信息")

三、关键注意事项 #

• 客户端和Worker是完全独立的进程，它们的日志配置相互隔离，不会互相干扰，因此可以放心指定不同的日志文件。
• 如果希望日志更规范，建议优先使用logging模块而非print，这样能更好地控制日志级别、格式；如果要兼容已有print代码，重定向stdout/stderr是最简便的方式。
• 日志格式可根据需求自定义，比如添加进程ID、线程ID等信息，方便后续排查问题。

内容的提问来源于stack exchange，提问作者TheCodeCache