Linux下spawn上下文的multiprocessing无法访问共享Value如何解决

核心原因1：Linux标准输出缓冲机制 #

Linux下Python的标准输出默认采用行缓冲策略，你代码中的print语句内容虽然带换行，但多进程场景下子进程退出过快时，缓冲区还没来得及刷新就被回收，导致最后一行打印内容丢失。Windows系统标准输出默认无缓冲，所以可以正常输出。

核心原因2：共享Value锁状态异常（可选排查） #

multiprocessing.Value默认会自带一把互斥锁保证读写安全，spawn模式下跨进程传递锁对象时，极端场景下会出现锁状态异常，导致访问.value属性时阻塞，看起来就像没有执行后续代码。

解决步骤 #

步骤1：给所有print语句添加强制刷新参数 #

修改所有print调用，添加flush=True强制将内容立刻输出到终端，修改后代码如下：

from multiprocessing import Value
import multiprocessing

class Test(object):
    def __init__(self, m_val):
        print("step1", flush=True)
        self.m_val = m_val
        print("step2", flush=True)
        self.m_val_val = m_val.value
        self.prints()
    def prints(self):
        print("self.m_val_val:%d"%self.m_val_val, flush=True)


def main(m_val):
    t = Test(m_val)

if __name__   == "__main__":
    N = 2
    procs = []
    v = Value("i",10)
    for i in range(0,N):
        proc_i = multiprocessing.get_context("spawn").Process(target=main,args=(v,))
        proc_i.daemon=True
        procs.append(proc_i)
    for i in range(0,N):
        procs[i].start()
    
    for i in range(0,N):
        procs[i].join()

步骤2：如仍有问题调整Value锁配置 #

如果你的业务场景下这个共享变量只需要读、不需要跨进程修改，可以在创建Value时关闭锁，避免锁相关的阻塞问题：

v = Value("i", 10, lock=False)

如果需要跨进程修改、必须保留锁保证安全，也可以手动获取锁再访问值，保证状态一致：

with m_val.get_lock():
    self.m_val_val = m_val.value

可选全局缓冲关闭方案 #

你也可以在运行脚本时设置环境变量PYTHONUNBUFFERED=1，全局关闭Python的输出缓冲，不需要修改代码：

PYTHONUNBUFFERED=1 python3 your_script.py

内容的提问来源于stack exchange，提问作者sandyX