Python多进程共享对象时触发不同随机错误的原因与解决方案

你遇到的所有随机报错，本质来自两个底层设计缺陷，和pickle处理大数据的能力没有直接关系：

• 你使用的multiprocessing.Manager代理对象默认不带跨进程写锁保护：多个进程同时调用add_component修改Pyomo模型内部的组件字典、索引注册表时，会直接并发修改Manager进程持有的模型内存，没有任何互斥机制，就会触发你看到的「字典迭代时大小改变」「引用计数异常」「内存错误」这类随机崩溃。这类竞态问题的触发完全取决于进程调度顺序，所以才会出现同一份代码有时能跑、有时报不同错误的现象。
• Pyomo的ConcreteModel、Set、Var、Constraint等核心对象，内部持有大量不可序列化的运行时状态：包括弱引用回调、C扩展层缓存、全局组件注册表绑定句柄，强行跨进程传递这些对象、或者通过代理跨进程调用修改方法，会直接破坏对象内存状态，触发pickle系统错误、本地弱引用对象无法序列化这类报错。

额外说明：你当前用的Manager代理方案，所有模型修改操作都要走跨进程通信+序列化/反序列化流程，哪怕没有竞态问题，实际运行速度比串行构建模型还慢，完全达不到利用多核加速的目的。

不要尝试跨进程共享同一个Pyomo模型实例，正确的并行思路是分块构建、主进程合并，从根源上规避跨进程共享状态的问题：

• 把需要创建的Set、Var、Constraint按逻辑分组，每个进程只独立构建自己分到的组件块，进程内不接触主模型、不和其他进程共享任何状态。
• 子进程完成构建后，把生成的组件返回给主进程；如果组件构造逻辑复杂，优先传可序列化的初始化参数、规则配置，不要传绑定了运行时状态的复杂Pyomo对象。
• 所有子进程任务完成后，主进程单线程把所有组件依次添加到主ConcreteModel实例上，这一步执行速度极快，不会成为性能瓶颈，也不存在竞态问题。

最小改造示例代码 #

from pyomo.environ import *
import multiprocessing
from multiprocessing import Pool

# 注意：并行执行的worker函数必须定义在模块顶层，才能被pickle正常序列化
def build_component_block(block_config):
    comp_type, comp_name, init_params = block_config
    # 子进程内独立创建组件，完全不接触主模型对象
    if comp_type == "set":
        return (comp_name, Set(initialize=init_params))
    elif comp_type == "var":
        return (comp_name, Var(initialize=init_params))
    elif comp_type == "param":
        return (comp_name, Param(initialize=init_params))
    # 约束、目标函数等其他组件逻辑可按相同模式扩展

class A:
    def __init__(self):
        self.model = ConcreteModel()

    def init_var(self):
        # 原有串行逻辑保持不变
        print('Sequentially')
        self.do_something('var1')
        self.do_something('test')
        print(self.model.var1)

        # 并行构建部分：只传可序列化的配置参数，绝不跨进程传模型实例
        print('\nParallel')
        component_configs = [
            ("set", 'time', [x for x in range(1,13)]),
            ("set", 'customers', ['c1','c2','c3']),
            ("set", 'finish_bulks', ['b1','b2','b3','b4']),
            ("set", 'fermentation_types', ['ft1','ft2','ft3','ft4']),
            ("set", 'fermenters', ['f1','f2','f3']),
            ("set", 'ferm_plants', ['fp1','fp2','fp3','fp4']),
            ("set", 'plants', ['p1','p2','p3','p4','p5']),
            ("set", 'gran_plants', ['gp1','gp2','gp3','gp4']) # 原示例中gp4重复写入了两次，会触发重复元素警告
        ]

        # 并行生成所有组件，无跨进程共享状态
        core_num = min(multiprocessing.cpu_count(), len(component_configs))
        with Pool(core_num) as pool:
            built_components = pool.map(build_component_block, component_configs)
        
        # 主进程单线程统一挂载组件，无竞态风险
        for comp_name, comp_obj in built_components:
            self.model.add_component(comp_name, comp_obj)

        self.model.time.pprint()
        self.model.customers.pprint()

    def do_something(self, var):
        if var == 'var1':
            self.model.var1 = var
        elif var == 'var2':
            self.model.var2 = var
        else:
            print('other var.')

def main():
    obj = A()
    obj.init_var()
    # 后续约束构建、求解逻辑正常执行即可

if __name__ == '__main__':
    multiprocessing.set_start_method("spawn")
    main()

优化注意事项 #

• 如果约束生成是性能瓶颈，不要在子进程里直接生成Constraint对象，只在子进程里计算约束系数、索引映射关系这类纯数据结果，返回主进程后再生成约束对象，可大幅降低序列化开销。
• 进程数不要超过CPU物理核心数，过多的进程调度开销会抵消并行收益。
• 如果组件之间存在依赖关系（比如Var定义在某个Set之上），要把有依赖的组件分到同一个任务块，避免子进程构建时找不到依赖项。

内容的提问来源于stack exchange，提问作者Yuri Santos