如何在Python Multiprocessing Pool中使用类方法并更新对象？

问题场景 #

我们通过简化示例探讨核心问题：如何在Python Multiprocessing Pool中调用类方法并更新原对象。

初始示例代码如下：

from multiprocessing import Pool

class Var:
    
    def __init__(self,val):
        self.val = val
        
    def increment(self):
        self.val +=1 
        
arr = [Var(1) for i in range(1000)]        
def func(x):
    x.increment()

with Pool() as pool:
    results = pool.map(func, arr)

执行后，results是全None的数组（符合预期，因为func没有返回值），但原数组arr[0]的val仍然是1，并未被更新。需求是直接更新原对象，而非让方法返回新值，实现基于对象的并行处理。

原因分析与解决方案 #

受*IPC（进程间通信）*设计限制，pool.map无法自动更新父进程中arr列表里的对象。最优方案是在Pool执行完成后，手动更新原数组中的对象：

from multiprocessing import Pool

class Var:
    
    def __init__(self,val):
        self.val = val
        
    def increment(self):
        self.val +=1 
    
    def update(self,val):
        self.val = val
        
arr = [Var(1) for i in range(1000)]        
def func(x):
    x.increment()
    return x.val

with Pool() as pool:
    results = pool.map(func, arr)

for idx, val in enumerate(results): 
    arr[idx].update(val)

该方案无法避免最后的串行for循环，但如果func是CPU密集型任务且arr元素数量足够多，大部分计算工作可以交给pool.map并行处理，仅用少量串行操作完成对象更新，整体效率仍能得到显著提升。

内容的提问来源于stack exchange，提问作者jbuddy_13