Python类变量与多进程行为变化问题及修复方案咨询

版本间类变量处理机制的核心变化 #

• Python 3.8起，Unix系统下多进程默认启动方式从fork改为spawn：
  • fork模式：子进程直接复制父进程的内存空间，包括父进程中已修改的类变量，因此子进程能继承到更新后的list_stream。
  • spawn模式：会重新启动Python解释器，重新导入模块并初始化类，父进程对类变量的修改不会被子进程继承，所以子进程内ShiftPlanner的list_stream会回到默认的NullStream实例。
• 你遇到的差异本质就是启动方式变更导致的类变量继承逻辑变化。

符合Python风格的修复方案 #

方案1：用进程间共享对象替代类变量 #

借助multiprocessing.Manager创建可跨进程共享的对象，通过实例变量传递给子进程，这是跨平台的标准方案：

from multiprocessing import Process, Manager

class ShiftPlanner:
    def __init__(self, shared_stream):
        self.stream = shared_stream

    def write_data(self):
        self.stream.append("子进程写入的数据")

if __name__ == "__main__":
    with Manager() as manager:
        shared_list = manager.list()
        planner = ShiftPlanner(shared_list)
        p = Process(target=planner.write_data)
        p.start()
        p.join()
        print(shared_list)  # 正常输出子进程写入内容

方案2：显式指定fork启动方式（仅类Unix环境适用） #

如果代码只在Linux/macOS运行，可强制使用fork保持和3.7一致的行为，但Windows不支持该模式，且存在资源共享风险：

from multiprocessing import Process, set_start_method

class ShiftPlanner:
    list_stream = None

    @classmethod
    def init_stream(cls, stream):
        cls.list_stream = stream

    @classmethod
    def write_data(cls):
        cls.list_stream.append("子进程写入的数据")

if __name__ == "__main__":
    set_start_method("fork")
    ShiftPlanner.init_stream([])
    p = Process(target=ShiftPlanner.write_data)
    p.start()
    p.join()
    print(ShiftPlanner.list_stream)

方案3：用Queue实现进程间通信 #

这是多进程数据传递的更安全方式，避免共享内存的竞态问题：

from multiprocessing import Process, Queue

class ShiftPlanner:
    def __init__(self, queue):
        self.queue = queue

    def write_data(self):
        self.queue.put("子进程写入的数据")

if __name__ == "__main__":
    q = Queue()
    planner = ShiftPlanner(q)
    p = Process(target=planner.write_data)
    p.start()
    p.join()
    result = []
    while not q.empty():
        result.append(q.get())
    print(result)

总结 #

优先选择方案1或方案3，它们符合Python多进程设计规范，跨平台且安全可靠；方案2仅作为旧代码兼容的临时手段，不推荐长期维护使用。

内容的提问来源于stack exchange，提问作者Just Me