使用Mpire多进程修改Python对象内部状态的问题咨询

我定义了一个会修改自身内部状态的Example类：

class Example():
    def __init__(self, value):
        self.param = value

    def example_method(self, m):
        self.param = self.param * m
        # 按照实现惯例，方法返回对象本身
        return self

我希望使用Mpire库并行调用多个Example实例的example_method方法，修改实例的内部状态，示例代码如下：

import mpire

list_of_instances = [Example(i) for i in range(1, 6)]

def run_method(ex):
    ex.example_method(10)

print("并行调用前，应输出<1>")
print(f"<{list_of_instances[0].param}>")

with mpire.WorkerPool(n_jobs=3) as pool:
    pool.map_unordered(run_method, [(example,) for example in list_of_instances])

print("并行调用后，应输出<10>")
print(f"<{list_of_instances[0].param}>")

但由于Mpire的工作机制，实际被修改的是实例的副本而非list_of_instances中的原对象，导致修改无法保留，第二次打印仍输出<1>。目前我想到的唯一方案是用pool.map_unordered（或pool.map_ordered）的返回值替换list_of_instances，但想了解是否存在其他可行的并行处理解决方案。

由于Python多进程的内存隔离特性，子进程无法直接修改主进程中的对象，所有可行方案本质上都是通过共享内存或状态传递来同步修改：

1. 使用共享内存存储实例状态 #

将实例的状态存储在跨进程可见的共享容器（如multiprocessing.Manager创建的字典）中，让实例直接操作共享内存中的数据，避免修改副本的问题。

修改后的代码示例：

from multiprocessing import Manager
import mpire

class Example():
    def __init__(self, value, shared_dict, instance_id):
        self.shared_dict = shared_dict
        self.instance_id = instance_id
        # 将状态存入共享字典
        self.shared_dict[instance_id] = value

    @property
    def param(self):
        # 从共享字典读取状态
        return self.shared_dict[self.instance_id]

    def example_method(self, m):
        # 修改共享字典中的状态
        self.shared_dict[self.instance_id] *= m
        return self

# 创建跨进程共享字典
manager = Manager()
shared_params = manager.dict()

# 初始化实例，绑定共享字典和唯一标识
list_of_instances = [Example(i, shared_params, f"inst_{i}") for i in range(1, 6)]

def run_method(ex):
    ex.example_method(10)

print("并行调用前，应输出<1>")
print(f"<{list_of_instances[0].param}>")

with mpire.WorkerPool(n_jobs=3) as pool:
    pool.map_unordered(run_method, list_of_instances)

print("并行调用后，应输出<10>")
print(f"<{list_of_instances[0].param}>")

这种方式下，所有实例操作的是同一块共享内存中的数据，主进程的原实例能直接获取到修改后的状态，无需替换整个实例列表。

2. 传递状态更新而非整个实例 #

让子进程返回修改后的状态值，主进程手动将状态赋值给原实例的属性，适合状态结构简单的场景。

代码示例：

import mpire

class Example():
    def __init__(self, value):
        self.param = value

    def example_method(self, m):
        self.param *= m
        # 仅返回修改后的状态
        return self.param

list_of_instances = [Example(i) for i in range(1, 6)]

def run_method(ex):
    return ex.example_method(10)

print("并行调用前，应输出<1>")
print(f"<{list_of_instances[0].param}>")

with mpire.WorkerPool(n_jobs=3) as pool:
    # 按顺序获取每个实例的更新状态
    updated_params = pool.map_ordered(run_method, list_of_instances)

# 手动将更新后的状态赋值给原实例
for inst, new_param in zip(list_of_instances, updated_params):
    inst.param = new_param

print("并行调用后，应输出<10>")
print(f"<{list_of_instances[0].param}>")

这种方式避免了替换整个实例列表，仅同步需要修改的属性值，操作更轻量化。

内容的提问来源于stack exchange，提问作者Alb