Python多进程日志写入独立文件：Handler消失问题及实现疑问

问题描述 #

希望用n个进程运行代码，每个进程的日志写入独立文件，尝试了以下代码（Python 3.9/3.11版本）：

from multiprocessing import Process
import logging


class Worker(Process):
    def __init__(self, logger_name, log_file):
        super().__init__()
        self.logger = logging.getLogger(logger_name)
        self.log_file = log_file
        self.logger.addHandler(logging.FileHandler(log_file))
        print("from init", self.logger, self.logger.handlers)

    def run(self) -> None:
        print("from run", self.logger, self.logger.handlers)


if __name__ == '__main__':
    p1 = Worker("l1", "log1")
    p1.start()

运行后发现FileHandler在子进程的run方法中消失，输出如下：

from init <Logger l1 (WARNING)> [<FileHandler log1 (NOTSET)>]
from run <Logger l1 (WARNING)> []

该问题仅在Mac的Python环境中出现，Linux服务器上无法复现。

问题原因 #

核心差异在于多进程的启动方式：

• Linux默认用fork模式：子进程会直接复制父进程的内存空间，包括已经创建的logger和FileHandler，所以父进程中添加的handler在子进程中依然存在。
• MacOS的Python默认用spawn模式：这种方式下，子进程会重新启动一个全新的Python解释器，父进程中创建的所有对象（包括logger和handler）都不会被继承。子进程里调用logging.getLogger会得到一个全新的、没有任何handler的logger实例，所以会出现handler消失的情况。

正确实现方式 #

在run方法中初始化日志Handler不仅不是临时方案，反而是跨平台的标准正确做法。因为只有在子进程的执行上下文里配置日志，才能保证每个进程的日志 handler 完全独立，避免跨进程的资源竞争或配置失效问题。

推荐代码示例 #

from multiprocessing import Process
import logging


class Worker(Process):
    def __init__(self, logger_name, log_file):
        super().__init__()
        self.logger_name = logger_name
        self.log_file = log_file

    def run(self) -> None:
        # 在子进程内部初始化专属日志配置
        logger = logging.getLogger(self.logger_name)
        # 避免重复添加Handler（防止同一个logger被多次初始化）
        if not logger.handlers:
            handler = logging.FileHandler(self.log_file)
            # 添加日志格式，提升可读性
            formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
            handler.setFormatter(formatter)
            logger.addHandler(handler)
            logger.setLevel(logging.INFO)
        
        # 测试日志输出
        logger.info(f"子进程{self.pid}的测试日志")
        print("from run", logger, logger.handlers)


if __name__ == '__main__':
    p1 = Worker("l1", "log1")
    p1.start()
    p1.join()

关键注意事项 #

• 避免重复添加Handler：logging.getLogger是单例模式，如果同一个logger名称被多次调用（比如多个进程复用同一名称），会重复添加Handler导致日志重复输出，所以需要判断if not logger.handlers。
• 跨平台兼容性：该写法在spawn（MacOS）和fork（Linux）模式下都能正常工作，不受启动方式影响。
• 不依赖父进程配置：永远不要在父进程中给子进程的logger提前添加Handler，尤其是spawn模式下，子进程无法继承这些配置，反而可能导致资源泄漏。

内容的提问来源于stack exchange，提问作者Peter Franek