如何让Python multiprocessing.Pool子进程生成独立日志文件？

你的需求很明确：50万级任务量，用multiprocessing.Pool处理，要避免单日志过大或百万级小日志的问题，每个Worker进程单独生成一个日志文件是最优选择。

先否定你最初的方案：传递父进程Logger不可行 #

用spawn模式创建进程时，子进程是全新的Python解释器实例，父进程的logger对象无法被序列化传递给子进程——就算强行传了，子进程也无法继承父进程的日志handler配置，反而会导致日志混乱、重复输出或丢失，所以这个思路走不通。

最优方案：Worker进程启动时初始化专属日志 #

利用Pool的initializer和initargs参数，在每个Worker进程启动时一次性配置好它的专属日志，后续该Worker处理的所有任务都直接写入这个日志文件。

具体实现步骤：

1. 定义Worker初始化函数：每个Worker启动时，根据自身进程ID创建唯一的日志文件，配置日志格式、级别等。
2. 创建Pool时指定初始化逻辑：把日志输出目录传给初始化函数，让每个Worker都知道要把日志写到哪。
3. 任务函数直接用Logger：Worker初始化好日志后，任务函数里直接调用logging.getLogger()就能拿到当前Worker的专属Logger。

完整代码示例：

import multiprocessing
import logging
import os

def init_worker(log_dir):
    # 确保日志目录存在
    os.makedirs(log_dir, exist_ok=True)
    # 用进程ID作为日志文件名，保证每个Worker唯一
    log_file = os.path.join(log_dir, f"worker_{os.getpid()}.log")
    
    # 配置当前Worker的Logger
    logger = logging.getLogger()
    logger.setLevel(logging.INFO)
    
    # 避免重复添加Handler（如果Worker被复用的话）
    if not logger.handlers:
        handler = logging.FileHandler(log_file, encoding='utf-8')
        formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(message)s')
        handler.setFormatter(formatter)
        logger.addHandler(handler)

def foo_bar(job, output_dir):
    logger = logging.getLogger()
    # 记录任务开始
    logger.info(f"开始处理任务: {job}")
    try:
        # 这里写你的任务逻辑
        result = f"处理结果_{job}"
        # 记录任务成功
        logger.info(f"任务 {job} 处理完成，结果已保存到 {output_dir}")
        return result
    except Exception as e:
        # 记录任务异常
        logger.error(f"任务 {job} 处理失败: {str(e)}", exc_info=True)
        raise

if __name__ == "__main__":
    num_processors = multiprocessing.cpu_count()
    output_dir = "./output"
    log_dir = "./worker_logs"
    # 模拟50万个任务
    jobs = [f"task_{i}" for i in range(500000)]
    
    # 创建Pool时指定初始化函数和参数
    with multiprocessing.get_context('spawn').Pool(
        processes=num_processors,
        initializer=init_worker,
        initargs=(log_dir,)
    ) as pool:
        argument_set = [(job, output_dir) for job in jobs]
        pool.starmap(foo_bar, argument_set)

方案优势： #

• 性能高效：每个Worker只初始化一次日志，不会在每个任务里重复创建Handler，避免资源浪费。
• 日志清晰：每个日志文件对应一个Worker的所有任务，排查问题时可以直接定位到某个Worker的执行情况。
• 避免混乱：完全隔离不同Worker的日志输出，不会出现多个进程写同一个文件的竞争问题。

可选扩展： #

如果不想用进程ID作为日志文件名，也可以在初始化时传递自定义标识（比如给每个Worker分配一个序号），但进程ID是最直接可靠的唯一标识，无需额外逻辑。

内容的提问来源于stack exchange，提问作者wisenickel