Python多进程Pool场景下Logger日志记录异常排查

我之前也踩过多进程日志的坑，结合你的代码来看，几个核心问题大概率导致了日志文件随机为空的情况：

1. 多进程日志的继承陷阱 #

当你用Pool创建子进程时，子进程会继承主进程的Logger和Handler对象，但Python的Logging模块本身不是进程安全的，尤其是带缓存的MemoryHandler。如果多个子进程共享（或继承）同一个Handler实例，很容易出现资源竞争，导致缓存里的日志无法正确写入文件，甚至直接丢失。

而且如果是主进程先初始化Logger再创建Pool，子进程里的Logger其实是主进程对象的副本，这种情况下MemoryHandler的缓存状态在子进程里是独立的，但进程退出时Python不会自动帮你触发flush，缓存里的日志就直接没了。

2. MemoryHandler的Flush条件太苛刻 #

你设置了flushLevel=logging.ERROR，这意味着只有当ERROR及以上级别的日志被记录时，缓存才会刷到文件Handler。如果某个模拟全程没产生ERROR日志，那MemoryHandler里攒的所有info日志就不会被主动flush，进程一结束，这些缓存的日志就跟着进程销毁了，自然日志文件是空的。

3. 进程退出时未主动清理日志资源 #

哪怕MemoryHandler会被Python的GC回收，但这个过程是不可控的，尤其是多进程场景下，进程可能被快速终止，缓存还没来得及写入文件就没了。

针对性的解决方案 #

方案一：每个子进程独立初始化Logger

不要在主进程创建Logger，而是让每个子进程自己初始化日志配置，这样每个进程的Logger和Handler都是完全独立的，彻底避免进程间的资源竞争。

示例代码：

import logging
from logging.handlers import MemoryHandler
from multiprocessing import Pool

def run_simulation(sim_id):
    # 每个子进程单独初始化Logger
    logger_name = f"sim_{sim_id}"
    filehandler_name = f"sim_{sim_id}.log"
    
    # 获取Logger，注意清理可能存在的旧Handler（避免重复添加）
    logger = logging.getLogger(logger_name)
    logger.setLevel(logging.DEBUG)
    if logger.hasHandlers():
        logger.handlers.clear()
    
    filehandler = logging.FileHandler(filehandler_name)
    memoryhandler = MemoryHandler(
        capacity=5000000000,
        flushLevel=logging.ERROR,
        target=filehandler
    )
    logger.addHandler(memoryhandler)

    # 你的模拟逻辑
    logger.info(f"Simulation {sim_id} started")
    # ... 模拟代码 ...

    # 显式flush并关闭Handler，确保所有日志写入文件
    memoryhandler.flush()
    memoryhandler.close()
    filehandler.close()

if __name__ == "__main__":
    with Pool(processes=4) as pool:
        pool.map(run_simulation, range(10))

方案二：调整MemoryHandler的Flush策略

如果你不想改初始化方式，至少要确保每个子进程结束时主动flush缓存，或者给MemoryHandler加上关闭时自动flush的配置（Python 3.9+支持）：

1. 显式flush：在模拟任务结束时添加

# 遍历所有Handler，强制flush MemoryHandler的缓存
for handler in logger.handlers:
    if isinstance(handler, MemoryHandler):
        handler.flush()

2. 开启关闭自动flush：初始化MemoryHandler时加上flushOnClose=True

memoryhandler = logging.handlers.MemoryHandler(
    capacity=5000000000,
    flushLevel=logging.ERROR,
    target=filehandler,
    flushOnClose=True  # 关闭Handler时自动flush所有缓存
)

方案三：直接使用FileHandler（如果性能允许）

如果你的日志量不是特别夸张，或者磁盘IO能扛得住，直接用FileHandler可以彻底避免缓存带来的问题——它默认是实时写入的，虽然性能可能比MemoryHandler稍差，但日志可靠性高很多，不用纠结缓存flush的问题。

最后再提个醒：多进程环境下，日志配置一定要保证每个进程独立，并且进程退出前显式清理日志资源，这样才能避免这种随机丢失的问题。

内容的提问来源于stack exchange，提问作者Ziva