Python多进程Pool使用问题求助（Mac M1+Python3.9.12）

针对multiprocessing的AttributeError: Can't pickle local object错误 #

这个错误核心是**foo函数是嵌套在某个局部作用域内的函数**（比如你代码里的search函数内部），Python标准库的pickle无法序列化局部对象——子进程没法通过模块路径找到该函数的定义。

修复方案： #

• 把foo函数移到module.py的全局作用域，不要嵌套在其他函数内部。示例：

  # module.py 全局作用域
  def foo(x):
      # 你的业务逻辑
      return y
  
  def run_pool(args):
      import multiprocessing as mp
      pool = mp.Pool(8)
      results = pool.map_async(foo, args)
      # 需等待结果并关闭进程池
      output = results.get()
      pool.close()
      pool.join()
      return output
  

• 不要在模块顶层直接初始化Pool，将进程池的创建放到函数内部。M1 Mac的Python默认用spawn模式启动子进程，模块顶层代码会被每个子进程重复执行，容易引发异常。

针对pathos的TypeError: no default __reduce__ due to non-trivial __cinit__错误 #

这个错误一般是因为foo函数引用了带非平凡__cinit__方法的C扩展类实例（比如Cython编写的类、部分第三方库的底层C扩展对象），pathos依赖的dill序列化库无法处理这类对象的默认序列化逻辑。

修复方案： #

1. 排查依赖对象：检查foo中是否用到自定义C扩展类或特殊第三方库对象，如有，尝试替换为Python原生对象（比如用普通Python类重写逻辑）。
2. 手动实现序列化逻辑：如果必须使用这类对象，为该类手动实现__reduce__方法，指定序列化规则。示例：

   class YourCClass:
       def __cinit__(self, param):
           self.param = param
   
       def __reduce__(self):
           # 返回（构造函数，构造参数），用于反序列化重建对象
           return (YourCClass, (self.param,))
   

3. 避免跨进程传递：如果对象不需要在主进程和子进程间传递，尽量在子进程内部初始化，而非从主进程传入。

补充代码规范 #

主脚本调用模块功能时，确保多进程逻辑被正确包裹：

# 主脚本
import module

def main():
    args = [1,2,3,4]  # 示例参数
    results = module.run_pool(args)
    print(results)

if __name__ == "__main__":
    main()

内容的提问来源于stack exchange，提问作者Fshi