Python多进程/Pathos Process序列化错误：Numpy向量化函数无法Pickle

问题本质 #

你碰到的_pickle.PicklingError，是因为_wind_dfn是通过np.vectorize生成的向量化ufunc，这类动态生成的对象在pickle序列化时，无法在__main__模块中找到对应的引用——尤其是当函数嵌套定义、或者是在运行时动态创建的情况下，pickle找不到它的“身份标识”，就会报错。

具体修复方案 #

1. 把ufunc相关代码移到模块顶层 #

把生成_wind_dfn的代码（包括原始函数和np.vectorize的调用）放到模块的最外层，不要嵌套在函数、类或者其他局部作用域里。这样pickle能直接在__main__模块中定位到这个ufunc的定义。
示例代码：

# 模块顶层直接定义
def wind_dfn(x):
    # 这里写你的核心计算逻辑
    return x * 2

# 生成向量化函数
_wind_dfn = np.vectorize(wind_dfn)

def worker_task():
    # 子进程中直接使用顶层定义的_wind_dfn
    result = _wind_dfn([1, 2, 3])
    print(result)

2. 替换成更强大的序列化器 #

multiprocessing默认用的pickle对动态对象支持差，换成cloudpickle或者dill这类能序列化更多Python对象的库就行。
步骤：

• 先安装依赖：pip install cloudpickle
• 修改multiprocessing的上下文序列化规则：

import multiprocessing as mp
import cloudpickle

# 获取spawn类型的上下文
ctx = mp.get_context('spawn')
# 给_wind_dfn对应的类型注册cloudpickle的序列化/反序列化方法
ctx.reducer.register(type(_wind_dfn), cloudpickle.dumps, cloudpickle.loads)

# 用这个上下文创建进程
process = ctx.Process(target=worker_task, args=(your_args,))
process.start()
process.join()

3. 子进程内部重新生成ufunc #

不要从主进程传递_wind_dfn到子进程，而是在子进程启动后，自己重新定义原始函数并生成向量化ufunc。这样完全绕开了序列化的问题。
示例代码：

def worker_task():
    # 子进程内部重新创建_wind_dfn
    def wind_dfn(x):
        return x * 2
    _wind_dfn = np.vectorize(wind_dfn)
    # 执行计算逻辑
    result = _wind_dfn([1, 2, 3])
    return result

内容的提问来源于stack exchange，提问作者LordCat