Python多进程map中如何实现不可变对象的共享？

错误原因分析 #

你遇到的AttributeError: Can't pickle local object 'main.<locals>.f'是因为嵌套在main函数里的局部函数f无法被序列化（pickle）。多进程池在分发任务时，需要把函数和参数序列化后传递给子进程，而局部函数不在模块的全局命名空间中，子进程无法正确导入它。

另外，你提到static_vector生成耗时，不能在每个子进程重复生成，这就需要让所有子进程共享这个预先生成的只读对象，避免重复计算。

简洁解决方案 #

这里提供两种最常用的简洁实现方式：

方式1：使用进程池的初始化函数传递静态向量 #

通过Pool的initializer和initargs参数，在每个子进程启动时一次性加载static_vector，避免重复生成，同时把函数放到模块级别（让子进程能正常导入）：

import multiprocessing
import numpy as np

# 全局变量存储共享的静态向量
_shared_static_vector = None

def init_worker(static_vec):
    """子进程初始化函数，将静态向量赋值给全局变量"""
    global _shared_static_vector
    _shared_static_vector = static_vec

def compute_dot(v):
    """模块级别的计算函数，使用共享的静态向量"""
    return np.dot(v, _shared_static_vector)

def main():
    # 耗时生成静态向量，仅执行一次
    static_vector = np.array([1,2,3,4,5])

    # 创建进程池时指定初始化函数和参数
    with multiprocessing.Pool(initializer=init_worker, initargs=(static_vector,)) as p:
        # 生成待计算的向量列表（调整为一维数组，匹配点积逻辑）
        input_vectors = [np.random.random((5,)) for _ in range(10)]
        results = p.map(compute_dot, input_vectors)

    print(results)
    
if __name__ == "__main__":
    main()

方式2：使用functools.partial绑定静态向量（适合简单场景） #

把计算函数放到模块级别，用functools.partial提前绑定静态向量，不用全局变量也能传递共享对象：

import multiprocessing
import numpy as np
from functools import partial

def compute_dot(static_vec, v):
    """模块级别的计算函数，接收静态向量和待计算向量"""
    return np.dot(v, static_vec)

def main():
    static_vector = np.array([1,2,3,4,5])
    # 绑定静态向量，生成新的函数
    bound_compute = partial(compute_dot, static_vector)

    with multiprocessing.Pool() as p:
        input_vectors = [np.random.random((5,)) for _ in range(10)]
        results = p.map(bound_compute, input_vectors)

    print(results)
    
if __name__ == "__main__":
    main()

注意事项 #

• 两种方式都保证static_vector仅在主进程生成一次，子进程共享该对象（因为是只读，无需担心并发修改问题）。
• 方式1更适合静态对象较大的场景，避免序列化传递大对象的开销；方式2代码更简洁，适合轻量对象。
• 原代码中输入向量是(5,1)的二维数组，和一维的static_vector做np.dot会得到二维结果，建议调整输入向量为一维(5,)，或者修改点积逻辑（比如np.dot(v.T, static_vector)），确保结果符合预期。

内容的提问来源于stack exchange，提问作者David