Python多线程触发多进程场景下子进程logging日志失效问题求助

• 核心原因是Python的logging模块内置了线程锁保证线程安全，当使用默认fork模式启动多进程时，如果是在父进程的子线程中执行fork操作，子进程会直接复制父进程的内存状态，包括已经被其他线程持有的logging锁，且子进程不会感知到父进程其他线程的存在，导致子进程中输出日志时永远无法获取到锁，陷入阻塞无法输出。
• REST版本之所以正常，是因为多进程在主线程中启动，fork时logging锁处于未被占用的空闲状态，子进程继承的锁可正常使用。
• 额外问题：当前日志配置中propogate为拼写错误，正确拼写为propagate，会导致日志传播配置不生效，建议先修正。

方案1：修改多进程启动模式为spawn+子进程初始化日志（兼容性最好） #

spawn模式会为每个子进程启动独立的Python解释器，不会继承父进程的内存锁状态，规避fork带来的锁继承问题，操作步骤：

1. 在程序入口初始化多进程之前设置启动模式：

import multiprocessing
# 全局设置spawn启动模式，force=True避免重复设置报错
multiprocessing.set_start_method("spawn", force=True)

2. 创建多进程池时通过initializer参数为每个子进程初始化日志配置：

def init_logging():
    """子进程启动时执行的日志初始化函数"""
    import logging.config
    import yaml
    with open("你的日志配置yaml文件路径", "r", encoding="utf-8") as f:
        log_config = yaml.safe_load(f.read())
    logging.config.dictConfig(log_config)

# 创建进程池时传入初始化函数
self.pool = multiprocessing.Pool(
    processes=4, # 按实际业务需要填写进程数
    initializer=init_logging
)

方案2：保留fork模式，重置子进程日志状态 #

如果不想修改启动模式，可直接在子进程初始化时重置logging状态，清理继承的锁：

def init_logging():
    import logging
    # 先关闭所有现有handler清理继承的锁状态
    for handler in logging.root.handlers[:]:
        logging.root.removeHandler(handler)
        handler.close()
    # 重新加载日志配置
    import yaml
    with open("你的日志配置yaml文件路径", "r", encoding="utf-8") as f:
        log_config = yaml.safe_load(f.read())
    logging.config.dictConfig(log_config)

self.pool = multiprocessing.Pool(
    processes=4,
    initializer=init_logging
)

内容的提问来源于stack exchange，提问作者Nirmik