如何为multiprocessing.Pool中的每个任务项配置独立日志文件？

要实现每个multiprocessing.Pool任务输出到独立的日志文件，核心是在每个子进程的任务函数内部重新配置日志系统，避免子进程继承主进程的日志配置导致的冲突或混写问题。下面是具体的解决方案：

核心思路 #

1. 利用任务的输入参数（比如你的"ping"、"pong"）作为日志文件名的标识，确保每个任务对应唯一的日志文件。
2. 在任务函数启动时，清除主进程继承来的所有日志处理器（handler），避免重复输出或文件句柄共享问题。
3. 为当前任务单独配置日志，指定对应的日志文件、级别和格式。

完整代码示例 #

import logging
from multiprocessing import Pool

def logOnDisk(x):
    # 清除主进程继承的所有日志处理器，避免干扰
    for handler in logging.root.handlers[:]:
        logging.root.removeHandler(handler)
    
    # 为当前任务配置独立日志
    logging.basicConfig(
        filename=f"{x}.log",
        level=logging.INFO,
        format="%(asctime)s - %(levelname)s - %(message)s"
    )
    
    # 输出自定义日志
    logging.info("hello world")
    
    # 第三方库的日志也会被捕获到当前任务的日志文件中
    # 示例：模拟第三方库的日志输出
    third_party_logger = logging.getLogger("some_third_party_lib")
    third_party_logger.info("This log comes from a third-party package")

if __name__ == '__main__':
    # 主进程的日志配置（可选，不影响子进程）
    logging.basicConfig(
        level=logging.INFO,
        format="%(asctime)s - %(levelname)s - [Main Process] %(message)s"
    )
    logging.info("Starting all pool tasks...")

    with Pool() as p:
        p.map(logOnDisk, ["ping", "pong", "foo", "bar"])

    logging.info("All tasks finished successfully!")

关键细节说明 #

• 清除继承的Handlers：子进程会复制主进程的日志处理器，如果不清除，多个子进程可能会同时写入同一个文件（比如主进程的控制台输出），或者导致日志重复。通过遍历并移除logging.root的所有处理器，可以完全重置日志配置。
• 独立日志配置：在任务函数内调用logging.basicConfig会为当前子进程的根日志器设置新的文件处理器，确保所有日志（包括你自己代码和第三方库的日志）都会写入对应的x.log文件。
• 第三方库适配：由于第三方库通常会使用根日志器或自己的子日志器（默认会向上传播日志到根），所以当前任务的日志配置会自动捕获这些日志，无需额外修改第三方库代码。

内容的提问来源于stack exchange，提问作者Roberto Arista