多进程池使用QueueHandler时日志重复打印的原因咨询

核心原因：进程池复用子进程导致日志Handler重复添加 #

当你使用multiprocessing.Pool时，进程池会复用已创建的子进程处理后续任务。如果日志初始化逻辑（比如给logger添加QueueHandler）写在每个task任务里，就会出现以下问题：

• 第一次执行task时，子进程初始化日志，给logger添加一个QueueHandler；
• 当这个子进程被复用来执行第二个task时，代码会再次给同一个logger实例添加一遍QueueHandler。此时logger里存在两个相同的Handler，每条日志会被两次发送到日志队列，最终被logger_process重复打印。

对应你的两种场景：

• 场景1：进程池2个进程，1个跑logger_process，1个跑1个task——子进程只执行一次日志初始化，Handler仅添加一次，日志输出正常；
• 场景2：进程池2个进程，1个跑logger_process，剩下1个跑2个task——子进程被复用，第二次执行task时重复添加Handler，触发日志重复打印。

解决办法 #

方法1：初始化日志前先清理已有同类型Handler #

在子进程的日志初始化代码里，先检查并移除已存在的QueueHandler，避免重复添加：

import logging
from logging.handlers import QueueHandler

def init_task_logger(log_queue):
    logger = logging.getLogger()
    # 移除已有的QueueHandler
    for handler in list(logger.handlers):
        if isinstance(handler, QueueHandler):
            logger.removeHandler(handler)
    # 添加新的QueueHandler
    logger.addHandler(QueueHandler(log_queue))
    logger.setLevel(logging.INFO)

方法2：利用Pool的initializer统一初始化日志 #

通过Pool的initializer参数，在子进程创建时仅执行一次日志初始化，而不是每个task都执行：

import multiprocessing
import logging
from logging.handlers import QueueHandler

def pool_initializer(log_queue):
    # 子进程启动时只初始化一次日志
    logger = logging.getLogger()
    logger.addHandler(QueueHandler(log_queue))
    logger.setLevel(logging.INFO)

def task_func():
    logger = logging.getLogger(__name__)
    logger.info("Task log message")

def logger_process(log_queue):
    # 日志消费进程逻辑
    pass

if __name__ == "__main__":
    log_queue = multiprocessing.Queue()
    # 创建进程池时指定初始化函数和参数
    with multiprocessing.Pool(processes=2, initializer=pool_initializer, initargs=(log_queue,)) as pool:
        # 提交logger_process和任务
        pool.apply_async(logger_process, args=(log_queue,))
        pool.map(task_func, [1,2])

内容的提问来源于stack exchange，提问作者Sanket Shah