Python multiprocessing日志文件为空问题排查求助

核心问题 #

• 主进程的logging.basicConfig配置不会被子进程继承：使用multiprocessing.Pool时，子进程是独立启动的，它们的logging模块处于初始状态，没有主进程设置的文件handler。
• multiprocessing.get_logger()的默认配置仅输出到控制台：这个日志器默认没有添加文件输出的handler，所以即使在子进程里调用日志方法，内容也不会写入文件。

解决方案 #

提供两种可行的修复方案，按需选择：

方案1：在子进程中直接配置日志 #

修改process_chunk函数，在子进程内重新配置日志输出到文件：

import os
import multiprocessing
import traceback
import logging

def get_ids():
    return [i for i in range(100)]

def function_name(ids):
    if ids[0] % 4 == 0:
        raise Exception(f"Error processing chunk starting with id {ids[0]}")
    
    # Do some processing here
    print(f"Processing chunk starting with id {ids[0]}")
    return

def process_chunk(chunk):
    log_path = os.path.abspath(os.path.join(os.path.dirname(__file__), 'example.log'))
    # 配置子进程日志，用追加模式避免多进程覆盖
    logging.basicConfig(filename=log_path, level=logging.DEBUG, filemode='a')
    logger = logging.getLogger()
    try:
        function_name(chunk)
    except Exception as e:
        logger.exception(f"Error processing chunk {chunk}")

if __name__ == "__main__":
    ids = get_ids()
    chunks = [ids[i:i + 5] for i in range(0, len(ids), 5)]

    pool = multiprocessing.Pool(processes=8)
    for chunk in chunks:
        pool.apply(process_chunk, args=(chunk,))
    pool.close()
    pool.join()

修改说明：

• 在子进程内调用logging.basicConfig，指定filemode='a'确保多进程写入时不会覆盖已有内容。
• 直接使用根日志器，无需依赖multiprocessing.get_logger()，更直接控制日志输出。

方案2：用Pool初始化器统一配置子进程日志 #

如果有多个子进程处理函数，这种方式更优雅，避免重复配置代码：

import os
import multiprocessing
import traceback
import logging

def init_logger(log_path):
    # 子进程启动时统一执行日志配置
    logging.basicConfig(filename=log_path, level=logging.DEBUG, filemode='a')

def get_ids():
    return [i for i in range(100)]

def function_name(ids):
    if ids[0] % 4 == 0:
        raise Exception(f"Error processing chunk starting with id {ids[0]}")
    
    # Do some processing here
    print(f"Processing chunk starting with id {ids[0]}")
    return

def process_chunk(chunk):
    logger = logging.getLogger()
    try:
        function_name(chunk)
    except Exception as e:
        logger.exception(f"Error processing chunk {chunk}")

if __name__ == "__main__":
    log_path = os.path.abspath(os.path.join(os.path.dirname(__file__), 'example.log'))
    
    ids = get_ids()
    chunks = [ids[i:i + 5] for i in range(0, len(ids), 5)]

    # 创建Pool时指定初始化函数，让每个子进程自动配置日志
    pool = multiprocessing.Pool(processes=8, initializer=init_logger, initargs=(log_path,))
    for chunk in chunks:
        pool.apply(process_chunk, args=(chunk,))
    pool.close()
    pool.join()

修改说明：

• 定义init_logger作为子进程的初始化函数，负责配置日志。
• 创建Pool时通过initializer和initargs参数，让每个子进程启动时自动执行日志配置。

额外注意点 #

• 多进程写入同一日志文件时，filemode='a'是必须的，否则会出现内容覆盖或乱码。
• 若需要更复杂的日志处理（如按进程ID区分日志、异步写入），可以考虑QueueHandler+QueueListener的组合，避免多进程写入的竞争问题，简单场景用上述方案即可。

内容的提问来源于stack exchange，提问作者Anant