Python中如何向multiprocessing.Pool传递局部变量及迭代元素？

下面提供两种可靠的实现方式，均支持动态指定处理器数量：

方法1：用functools.partial绑定固定变量 #

这种方式会把固定变量预先绑定到处理函数上，让处理函数仅需接收Pattern参数，完美适配Pool.map的参数要求。

import multiprocessing
from functools import partial

def Multicore_Patterns_List_processor(pattern, var1, var2, var3):
    # 替换为你的实际处理逻辑
    print(f"处理Pattern: {pattern}, 固定变量: {var1}, {var2}, {var3}")
    return f"{pattern}_processed"

if __name__ == "__main__":
    # 定义固定变量与迭代列表
    Variable1 = "固定值1"
    Variable2 = 100
    Variable3 = ["a", "b"]
    Patterns_list = ["p1", "p2", "p3", "p4"]
    
    # 动态选择处理器数量：用CPU核心数，或自定义数值（如4）
    process_num = multiprocessing.cpu_count()
    
    # 绑定固定变量到处理函数
    bound_processor = partial(Multicore_Patterns_List_processor, 
                              var1=Variable1, 
                              var2=Variable2, 
                              var3=Variable3)
    
    # 创建Pool并执行任务
    with multiprocessing.Pool(processes=process_num) as pool:
        results = pool.map(bound_processor, Patterns_list)
    
    print("处理结果:", results)

方法2：打包参数为元组列表 #

将每个Pattern与固定变量打包成元组，处理函数接收完整参数组，适合需要更灵活参数结构的场景。

import multiprocessing

def Multicore_Patterns_List_processor(pattern, var1, var2, var3):
    # 替换为你的实际处理逻辑
    print(f"处理Pattern: {pattern}, 固定变量: {var1}, {var2}, {var3}")
    return f"{pattern}_processed"

if __name__ == "__main__":
    Variable1 = "固定值1"
    Variable2 = 100
    Variable3 = ["a", "b"]
    Patterns_list = ["p1", "p2", "p3", "p4"]
    
    process_num = multiprocessing.cpu_count()
    
    # 打包每个Pattern与固定变量为元组
    task_args = [(p, Variable1, Variable2, Variable3) for p in Patterns_list]
    
    # 用starmap自动解包元组参数
    with multiprocessing.Pool(processes=process_num) as pool:
        results = pool.starmap(Multicore_Patterns_List_processor, task_args)
    
    print("处理结果:", results)

关键注意事项 #

• 必须将主逻辑放在if __name__ == "__main__":代码块中，避免Windows系统下的进程创建异常。
• 若固定变量是可变对象（如列表、字典），进程间会自动拷贝，修改不会影响原变量，符合你“固定变量无需修改”的需求。
• 动态处理器数量可按需调整，比如process_num = max(1, multiprocessing.cpu_count() - 1)，避免占满所有CPU核心。

内容的提问来源于stack exchange，提问作者Jan Vaško