如何为multiprocessing.Pool传入pandas Series、列表、常量等多类型参数

1. Windows系统Python多进程默认使用spawn启动模式，子进程会重新导入主模块，父进程运行时动态设置的全局变量不会被子进程继承，因此第一种写法中子进程找不到pandas_series_var。
2. 第二种写法耗时更长是因为你把大体积的pandas.Series对象重复打包了3次，每个任务都要单独序列化、传输一次大对象，通信开销完全吃掉了多进程的计算收益。

这种方法仅在进程创建时把固定参数（pandas_series_var、color、color_value）传给每个子进程一次，不需要重复传输，性能损耗最小。

import multiprocessing
import pandas as pd

# 子进程全局变量占位
worker_pandas_series = None
worker_color = None
worker_color_value = None

def init_worker(series_obj, color, color_value):
    # 初始化子进程的全局变量，仅在进程创建时执行一次
    global worker_pandas_series, worker_color, worker_color_value
    worker_pandas_series = series_obj
    worker_color = color
    worker_color_value = color_value

def func1(model):
    # 直接使用初始化好的全局变量，不需要每次传参
    # 此处替换为你的业务逻辑：把model应用到worker_pandas_series上
    res = worker_pandas_series.apply(model, color=worker_color, val=worker_color_value)
    return res

def other_func(*args):
    # 变量初始化步骤省略，替换为你的实际变量
    pandas_series_var = pd.Series([1,2,3,4,5])
    list_3_elements = [model1, model2, model3] # 你的3个模型
    color = "red"
    color_value = 255

    # 因为只有3个任务，设置processes=3避免创建多余进程浪费资源
    with multiprocessing.Pool(
        processes=3,
        initializer=init_worker,
        initargs=(pandas_series_var, color, color_value)
    ) as pool:
        # 直接把模型列表传给map即可，不需要额外打包固定参数
        result = pool.map(func1, list_3_elements)
    return result

# Windows下必须加这个入口保护，否则多进程会报错
if __name__ == '__main__':
    other_func()

如果你不想使用全局变量，可以用partial绑定固定参数，更适合固定参数体积不大的场景：

import multiprocessing
import pandas as pd
from functools import partial

def func1(model, series_obj, color, color_value):
    # 此处替换为你的业务逻辑
    res = series_obj.apply(model, color=color, val=color_value)
    return res

def other_func(*args):
    pandas_series_var = pd.Series([1,2,3,4,5])
    list_3_elements = [model1, model2, model3]
    color = "red"
    color_value = 255

    # 绑定固定参数，得到只剩model参数的新函数
    bound_func = partial(func1, series_obj=pandas_series_var, color=color, color_value=color_value)
    with multiprocessing.Pool(processes=3) as pool:
        result = pool.map(bound_func, list_3_elements)
    return result

if __name__ == '__main__':
    other_func()

如果你的func1本身计算量非常小，多进程的通信、启动开销会比单进程直接运行更高，这种场景不需要使用多进程。

内容的提问来源于stack exchange，提问作者Danish Xavier