Python多进程在for循环中传递多参数问题求助

嘿，太懂你这种困境了——CPU密集型任务用threading完全是白忙活，Python的GIL（全局解释器锁）会把线程的并行性卡死，而multiprocessing才是真正能把多核CPU榨干的正确选择！关于多参数传递的问题，其实有好几种简单的实现方式，我给你一步步讲清楚：

核心思路：给进程函数传参的两种常用方法 #

1. 用args传递位置参数元组 #

这是最基础的方式，把所有参数打包成一个元组传给Process的args参数就行。比如你有一个需要三个参数的计算函数：

import multiprocessing

def heavy_calculation(base, exponent, multiplier):
    # 模拟CPU密集型计算：比如大幂次运算+乘法
    result = (base ** exponent) * multiplier
    print(f"计算结果：{result}")
    return result

if __name__ == '__main__':
    # 创建进程，把参数打包成元组传给args
    p1 = multiprocessing.Process(target=heavy_calculation, args=(5, 10, 2))
    p2 = multiprocessing.Process(target=heavy_calculation, args=(3, 15, 4))
    
    # 启动进程
    p1.start()
    p2.start()
    
    # 等待所有进程结束
    p1.join()
    p2.join()

2. 用kwargs传递命名参数字典 #

如果你的参数很多，或者想让代码更清晰，用kwargs传字典形式的命名参数会更友好：

import multiprocessing

def heavy_calculation(base, exponent, multiplier):
    result = (base ** exponent) * multiplier
    print(f"计算结果：{result}")
    return result

if __name__ == '__main__':
    # 用kwargs传命名参数
    p1 = multiprocessing.Process(
        target=heavy_calculation,
        kwargs={"base": 5, "exponent": 10, "multiplier": 2}
    )
    p2 = multiprocessing.Process(
        target=heavy_calculation,
        kwargs={"base": 3, "exponent": 15, "multiplier": 4}
    )
    
    p1.start()
    p2.start()
    p1.join()
    p2.join()

批量任务更高效：用Pool的starmap处理多参数迭代 #

如果你有一堆计算任务要批量执行，用multiprocessing.Pool会比手动创建多个Process方便得多，starmap方法专门用来处理多参数的批量任务：

import multiprocessing

def heavy_calculation(base, exponent, multiplier):
    return (base ** exponent) * multiplier

if __name__ == '__main__':
    # 准备批量任务的参数列表：每个元素是一个参数元组
    task_args = [
        (5, 10, 2),
        (3, 15, 4),
        (7, 8, 3),
        (2, 20, 5)
    ]
    
    # 创建进程池，默认用CPU核心数
    with multiprocessing.Pool() as pool:
        # 用starmap批量执行，自动分配任务到不同进程
        results = pool.starmap(heavy_calculation, task_args)
    
    print("所有计算结果：", results)

关键注意事项 #

• Windows系统必须加if __name__ == '__main__':：Windows没有fork机制，不加的话会重复启动进程导致报错，Linux/macOS虽然可以不加，但加上更保险。
• 函数要能被序列化：multiprocessing用pickle序列化函数和参数，所以你的计算函数最好是顶层函数（不要嵌套在其他函数里），避免序列化失败。
• 避免共享全局变量：多进程之间内存是隔离的，不要指望通过全局变量传递数据，要用Queue、Pipe或者Manager来共享数据（如果需要的话）。

这样改完之后，你的CPU密集型任务应该就能充分利用多核CPU，速度蹭蹭涨啦！

内容的提问来源于stack exchange，提问作者Marco