Python多进程：嵌套循环（itertools.product）中更新对象的问题

核心问题分析 #

你遇到的问题本质是内存隔离和对象引用传递的差异：

• 单进程场景下，所有操作都在同一块内存空间，直接修改的是原对象的属性，所以结果正确。
• 若用ProcessPoolExecutor（真正的多进程），进程间内存完全隔离，传递的对象会被pickle序列化为副本，子进程修改的是副本而非原对象，自然无法同步更新。
• 若用ThreadPoolExecutor（线程池），理论上线程共享进程内存，可直接修改原对象，但结果错误大概率是lambda的参数传递写法有误。

针对性解决方案 #

情况1：使用线程池（ThreadPoolExecutor） #

线程池内的线程共享同一进程内存，只需确保正确传递原对象的引用即可。修正后的代码如下：

from concurrent.futures import ThreadPoolExecutor
import itertools

class Body:
    def __init__(self, x,y):
        self.x = x
        self.y = y

    def update(self, other):
        self.x += other.y

    def update2(self):
        self.x += 1

class Calc:
    def __init__(self, bodies):
        self.bodies = bodies
        with ThreadPoolExecutor() as executor:
            # 生成所有需要处理的(body, _body)对
            pairs = itertools.product(self.bodies, self.bodies)
            # 用lambda正确接收参数并调用update
            executor.map(lambda pair: pair[0].update(pair[1]), pairs)

此写法中，线程直接操作原列表中的Body对象引用，修改会同步到原对象，结果与单进程一致。

情况2：使用进程池（ProcessPoolExecutor） #

进程间内存隔离，需通过共享内存实现对象属性的同步修改。修改Body类使用共享内存存储属性：

from multiprocessing import Value
import itertools
from concurrent.futures import ProcessPoolExecutor

class Body:
    def __init__(self, x, y):
        # 用共享内存的int类型存储x、y，确保多进程可修改同一值
        self.x = Value('i', x)
        self.y = Value('i', y)

    def update(self, other):
        # 加锁避免多进程同时修改导致的竞态错误
        with self.x.get_lock():
            self.x.value += other.y.value

    def update2(self):
        with self.x.get_lock():
            self.x.value += 1

    # 方便查看对象状态
    def __repr__(self):
        return f"Body(x={self.x.value}, y={self.y.value})"

class Calc:
    def __init__(self, bodies):
        self.bodies = bodies
        with ProcessPoolExecutor() as executor:
            pairs = itertools.product(self.bodies, self.bodies)
            executor.map(lambda pair: pair[0].update(pair[1]), pairs)

通过multiprocessing.Value创建共享内存变量，所有进程修改的是同一块内存地址的值，原对象的属性会同步更新。

关键注意点 #

• 不要混淆线程池和进程池：ThreadPoolExecutor是线程级并发，共享内存；ProcessPoolExecutor是进程级并发，内存隔离。
• 进程池场景下，若直接传递普通对象，修改的只是副本，无法同步到原对象，必须用共享内存或进程间通信机制。

内容的提问来源于stack exchange，提问作者Phil_89