Dask搭配Python multiprocessing shared_memory报BrokenProcessPool错误如何解决？

1. 首先修正代码笔误 #

你提供的代码存在明显的变量名错误：main函数中你创建的共享内存对象命名为shm，但后续创建共享数组时写的是buffer=shm_trades.buf，该变量不存在，是首要的运行报错诱因，先修正为shm.buf。

2. 核心错误：不支持object dtype数组跨进程共享 #

你提到input_data的dtype为'O'（对象类型），这是触发进程崩溃的核心原因：

• numpy的object类型数组存储的不是实际数据，而是指向Python对象的内存指针
• 多进程场景下每个进程有独立的虚拟地址空间，主进程里的指针传到子进程完全无效，访问时直接触发段错误，才会导致BrokenProcessPool（进程意外终止）
• 单线程调度器运行在同一进程空间，指针有效所以运行正常

3. 其他需要修正的共享内存使用规范 #

• 子进程中使用完共享内存后，需要手动调用shm.close()释放当前进程的连接
• 主进程所有任务执行完成后，需要先调用shm.close()再调用shm.unlink()彻底释放共享内存，避免内存泄漏
• 传递给dask的参数中，dtype如果是numpy dtype对象，需要确保可以被序列化，建议改为传递dtype的字符串标识（比如input_data.dtype.str），子进程中再用np.dtype()转换

可行改造路径 #

如果要实现跨进程共享该数组，首先要把object类型数组转换为结构化数组：

• 把int、float、datetime列分别定义结构化dtype，例如dtype = [('col1', 'i4'), ('col2', 'f8'), ('col3', 'datetime64[ns]')]，把原数组转成该dtype的结构化数组后再存入共享内存，就可以跨进程正常访问
• 如果无法转为结构化数组，建议改用dask自带的Array结构做分片处理，不要手动操作共享内存

内容的提问来源于stack exchange，提问作者42bsk