Python多进程中logging模块异常：需二次初始化且类方法无输出

问题根源 #

Python多进程启动时，子进程会完整复制父进程的内存空间，包括Logging模块的配置和Handler状态。但父进程中的标准输出/错误流Handler在子进程中往往处于不可用状态，导致日志无法输出；另外，如果父进程提前调用了logging.basicConfig，子进程再调用时会因为已存在Handler而忽略新的格式配置，这就是你遇到格式不生效、必须二次初始化的原因。

至于类中仅__init__方法日志正常，是因为__init__大概率在父进程中执行，而其他方法在子进程中运行，子进程未正确初始化Logging环境。

解决方法 #

1. 在每个子进程内部单独初始化Logging #

不要在父进程全局配置Logging，而是在子进程执行的目标函数/方法开头，重新调用logging.basicConfig并加上force=True参数，强制覆盖子进程继承的无效配置：

import logging
import multiprocessing

def child_task():
    # 子进程内初始化Logging
    logging.basicConfig(
        format='%(asctime)s - %(name)s - %(levelname)s - %(message)s',
        level=logging.INFO,
        force=True
    )
    logger = logging.getLogger(__name__)
    logger.info("子进程日志已按格式输出")

if __name__ == "__main__":
    p = multiprocessing.Process(target=child_task)
    p.start()
    p.join()

2. 针对类方法的适配处理 #

如果你的业务逻辑封装在类中，要确保子进程执行的方法先完成Logging初始化。可以在类中新增一个初始化日志的方法，在业务方法开头调用：

class Worker:
    def __init__(self):
        # 此处日志由父进程输出
        logging.info("父进程初始化Worker实例")
    
    def _init_logging(self):
        logging.basicConfig(
            format='%(asctime)s - %(name)s - %(levelname)s - %(message)s',
            level=logging.INFO,
            force=True
        )
        self.logger = logging.getLogger(__name__)
    
    def run_task(self):
        self._init_logging()
        self.logger.info("子进程任务日志正常输出")

if __name__ == "__main__":
    worker = Worker()
    p = multiprocessing.Process(target=worker.run_task)
    p.start()
    p.join()

3. 进阶方案：用队列统一处理多进程日志（可选） #

如果需要统一收集所有子进程的日志到父进程处理，避免每个子进程重复配置，可以使用QueueHandler和QueueListener：

import logging
import logging.handlers
import multiprocessing

def worker(queue):
    logger = logging.getLogger(__name__)
    # 子进程将日志发送到队列
    logger.addHandler(logging.handlers.QueueHandler(queue))
    logger.setLevel(logging.INFO)
    logger.info("子进程日志通过队列转发")

if __name__ == "__main__":
    log_queue = multiprocessing.Queue(-1)
    
    # 父进程配置日志格式和Handler
    formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
    console_handler = logging.StreamHandler()
    console_handler.setFormatter(formatter)
    
    # 启动队列监听器，统一处理子进程日志
    listener = logging.handlers.QueueListener(log_queue, console_handler)
    listener.start()
    
    # 启动子进程
    p = multiprocessing.Process(target=worker, args=(log_queue,))
    p.start()
    p.join()
    
    listener.stop()

内容的提问来源于stack exchange，提问作者Brian