Python多进程调用logger触发死锁（issue6721）求标准解决方案

核心原因：Fork时的锁状态继承 #

你遇到的死锁问题本质是fork操作会完整复制父进程的内存空间，包括日志Handler持有的锁状态。即使父进程的日志语句已经执行完毕，也可能因为以下情况导致子进程继承到一个“已持有但无法释放”的锁：

1. 日志模块的锁是在底层C实现中维护的，父进程释放锁的操作可能因CPU缓存同步延迟，在fork时还未更新到主存；
2. 如果fork发生在日志emit操作的间隙（比如锁已获取但还未释放的瞬间），子进程会直接继承这个锁的持有状态，而子进程中没有原持有锁的线程，导致锁永远无法被释放。

Python解释器本身是单线程执行字节码，不存在编译器级别的指令重排，但底层C扩展（如日志模块的C实现）或CPU的乱序执行可能导致锁状态的可见性问题，这和你熟悉的C++内存模型问题类似。

标准解决方案（无需第三方库） #

1. 使用os.register_at_fork()（Python 3.7+原生支持） #

这是Python标准库提供的fork钩子，可以在fork前、父进程fork后、子进程fork后分别执行回调，专门用于清理和重置共享资源（如锁、文件描述符）：

import os
import logging

def pre_fork_cleanup():
    # 关闭所有日志Handler，释放底层锁
    for handler in logging.root.handlers[:]:
        handler.close()
        logging.root.removeHandler(handler)

def parent_post_fork_init():
    # 父进程重新初始化日志配置
    logging.basicConfig(
        level=logging.INFO,
        format='%(asctime)s - %(process)s - %(levelname)s - %(message)s'
    )

def child_post_fork_init():
    # 子进程独立初始化日志，避免继承锁状态
    logging.basicConfig(
        level=logging.INFO,
        format='%(asctime)s - %(process)s - %(levelname)s - %(message)s'
    )

# 注册fork钩子
os.register_at_fork(
    before=pre_fork_cleanup,
    after_in_parent=parent_post_fork_init,
    after_in_child=child_post_fork_init
)

原理：fork前关闭所有日志Handler，强制释放底层锁；父/子进程fork后各自重新初始化日志，确保使用独立的锁资源。

2. Fork前显式刷新并重置日志 #

如果需要更手动的控制，可以在fork操作前手动处理日志：

import logging
import multiprocessing

def child_task(pipe):
    # 子进程内重新初始化日志
    logging.basicConfig(level=logging.INFO)
    # 执行任务并发送进度
    for i in range(5):
        logging.info(f"子进程进度：{i+1}/5")
        pipe.send(i+1)
    pipe.close()

if __name__ == "__main__":
    # 父进程初始化日志
    logging.basicConfig(level=logging.INFO)
    
    # fork前清理日志Handler
    for handler in logging.root.handlers[:]:
        handler.close()
        logging.root.removeHandler(handler)
    
    # 创建管道并fork子进程
    parent_pipe, child_pipe = multiprocessing.Pipe()
    p = multiprocessing.Process(target=child_task, args=(child_pipe,))
    p.start()
    
    # 父进程重新初始化日志
    logging.basicConfig(level=logging.INFO)
    
    # 接收进度
    while True:
        try:
            progress = parent_pipe.recv()
            logging.info(f"父进程收到进度：{progress}")
        except EOFError:
            break
    p.join()

原理：fork前主动关闭日志Handler释放锁，父进程在fork后重新初始化，子进程也独立初始化，彻底避免锁状态的继承。

3. 避免在fork前执行日志操作 #

如果业务允许，尽量把所有日志初始化和操作放在fork之后，这样父进程和子进程的日志资源完全独立，从根源上避免锁继承问题。

关于Python中的“内存屏障” #

Python没有像C++那样直接暴露内存屏障指令，但可以通过同步原语（如threading.Lock、logging模块的内置锁）来保证内存可见性。不过针对fork场景，核心问题不是指令重排，而是内存状态的复制，所以上述的日志重置方案比内存屏障更直接有效。

内容的提问来源于stack exchange，提问作者Amir