Python multiprocessing.Pool并行类方法self属性共享解决方案

Python multiprocessing 采用进程隔离设计，子进程与主进程内存空间完全独立。调用pool.map传入绑定方法clus2_zee.ComputeXTmultiCore时，Python会将主进程中的clus2_zee实例序列化后拷贝到各子进程，子进程内对self.xxx属性的所有修改仅作用于本地拷贝，不会同步回主进程原实例，这就是结果无法追加的核心原因。

无需使用共享内存、Manager等复杂的跨进程通信方案。pool.map本身会按任务传入顺序收集所有子进程的返回值，只要将计算逻辑改为纯返回结果的形式，在主进程统一合并赋值即可，这是多进程批量计算场景下性能最好、稳定性最高的实现方式。

改造计算方法 #

移除子进程内的实例属性赋值逻辑，直接返回当前索引对应的计算结果：

class cluster_mxn:
    def ComputeXTmultiCore(self, idx):
        ## Compute the XT inductive and capacitive to build a relative contributions on each cell on the cluster
        nSamp = 4        
        setEclusters = self.clusEtruth
        
        Etruth = setEclusters[idx]
        i, j = np.shape(Etruth)
        g_tau_0 = genTau_0(nSamp*i*j)
        vectDelay = genSampDelay(nSamp*i*j)

        clusCellSamp, clusXTcSamp, clusXTlSamp = genCellSamples(vectDelay, g_tau_0), genXTcSamples(vectDelay, g_tau_0), genXTlSamples(vectDelay, g_tau_0)

        clusNoise = genNoise(i*j, norm=True)
        clusNoise = clusNoise.reshape(Etruth.shape)

        XTc_Cluster, XTl_Cluster = self.RelativeClusters(Etruth)
        # 直接返回当前任务结果，不修改self属性
        return XTc_Cluster, XTl_Cluster, clusNoise

主进程收集结果并赋值 #

pool.map返回的列表顺序与传入的任务索引一一对应，解压后直接赋值给主进程实例的对应属性即可。注意with Pool(4)上下文管理器会自动完成进程池关闭、任务等待操作，无需手动调用close()和join()：

idx = clus2_zee.SetClusterSize()
if __name__ == '__main__':
    with Pool(4) as pool:        
        # 按顺序收集所有子进程的计算结果
        results = pool.map(clus2_zee.ComputeXTmultiCore, range(len(idx)))
    
    # 合并结果，赋值给主进程实例属性
    clus2_zee.clusXT_C = [res[0] for res in results]
    clus2_zee.clusXT_L = [res[1] for res in results]
    clus2_zee.clusNoise = [res[2] for res in results]

• 不要为了实现子进程直接修改主进程属性使用multiprocessing.Manager、自定义共享内存等方案，这类方案序列化开销高，容易触发死锁、数据一致性问题，完全不适配当前批量计算场景。
• 现有写法下，子进程可以正常读取类的只读属性、调用类方法；如果类初始化开销较大，可以通过Pool的initializer参数在子进程启动时一次性初始化类实例，降低重复序列化的性能损耗。

内容的提问来源于stack exchange，提问作者mssandes