Python中使用进程更新类变量的问题咨询

你的猜测完全正确：Python多进程采用独立内存空间模型，每个子进程启动时会复制父进程的所有内存数据（包括类定义、类变量）。子进程中对C.instances的修改只作用于自己的副本，和父进程的C.instances没有任何关联。子进程结束后，其内存空间被销毁，父进程的类变量自然不会有变化。

根据你的需求，推荐两种常用的跨进程共享数据方案：

1. 使用Manager创建共享列表 #

multiprocessing.Manager提供了跨进程共享的容器类型，比如列表、字典，适合直接共享集合数据：

from multiprocessing import Process, Manager

class C(object):
    def __init__(self, name):
        self.name = name

    def __repr__(self):
        return f"{self.name}"

def init(instances_list):
    names = ["a", "b", "c", "d", "e"]
    for n in names:
        instances_list.append(C(n))

if __name__ == "__main__":
    # 创建Manager上下文，自动管理资源
    with Manager() as manager:
        # 创建跨进程共享的列表
        shared_instances = manager.list()
        p = Process(target=init, args=(shared_instances,))
        p.start()
        # 等待子进程执行完毕
        p.join()
        # 转换为普通列表打印
        print(list(shared_instances))  # 输出: [a, b, c, d, e]

说明 #

• 把共享列表作为参数传递给子进程函数，替代原来的类变量存储实例
• Manager底层通过进程间通信（IPC）实现数据同步，支持大部分Python对象

2. 使用Queue传递实例 #

如果需要异步处理实例，或者更灵活的数据流控制，Queue是合适的选择：

from multiprocessing import Process, Queue

class C(object):
    def __init__(self, name):
        self.name = name

    def __repr__(self):
        return f"{self.name}"

def init(queue):
    names = ["a", "b", "c", "d", "e"]
    for n in names:
        queue.put(C(n))

if __name__ == "__main__":
    q = Queue()
    p = Process(target=init, args=(q,))
    p.start()
    p.join()
    
    # 从队列中收集所有实例
    instances = []
    while not q.empty():
        instances.append(q.get())
    print(instances)  # 输出: [a, b, c, d, e]

说明 #

• 子进程将实例放入队列，父进程从队列中取出并收集
• 队列自带线程/进程安全特性，无需额外加锁

• 跨进程传递的对象必须是可序列化的（即能被pickle模块序列化），如果你的类包含不可序列化的属性（比如文件句柄、网络连接），需要单独处理这些属性，或者只传递必要的序列化数据
• 避免在多进程中依赖类变量或全局变量共享状态，这类变量仅在单个进程内有效

内容的提问来源于stack exchange，提问作者Graham H