如何在for循环中正确使用Python multiprocessing？解决pool.map复用迭代器最终值的异常问题

这个坑我之前踩过！你遇到的问题核心原因有两个：多进程的内存隔离特性，加上你依赖了全局变量a，再加上代码里if __name__ == '__main__':的位置不对。

问题根源拆解 #

1. 全局变量的陷阱：你的myfunc依赖全局变量a，但在多进程（尤其是Windows系统的spawn启动模式）中，子进程会重新加载整个脚本。当子进程启动时，父进程的循环已经把a赋值为最后一个值（也就是2），所以所有子进程拿到的a都是2。
2. if __name__ == '__main__':位置错误：你把这个判断放在了for循环内部，这会导致每次循环都创建新的Pool，而且子进程启动时可能重复执行循环逻辑，进一步加剧变量覆盖的问题。

修复方案：放弃全局变量，直接传递参数 #

解决思路很简单：不要让myfunc依赖全局变量，而是把需要的参数直接传递给它。同时调整if __name__ == '__main__':的位置到脚本最外层。

修改后的完整代码：

from multiprocessing import Pool
import random

# 改写myfunc，直接接收参数a，不再依赖全局变量
def myfunc(a):
    b = 2
    # 这里可以添加你的随机逻辑，比如：
    # return a + 1 + random.uniform(0, 1), b + 2 + random.uniform(0, 1)
    return a + 1, b + 2

# 把主逻辑放在if __name__ == '__main__':内部，避免子进程重复执行
if __name__ == '__main__':
    args = [1, 2]
    repeat = 3
    output = [0] * len(args)

    count = 0
    for arg in args:
        with Pool(2) as p:
            # 生成包含repeat个当前arg的列表，让myfunc每次都拿到当前循环的arg值
            out1, out2 = zip(*p.map(myfunc, [arg] * repeat, chunksize=1))
            temp = [out1, out2]
            output[count] = temp
            count += 1

    print(output)

运行结果 #

执行后会得到你想要的预期输出：

[[(2, 2, 2), (4, 4, 4)], [(3, 3, 3), (4, 4, 4)]]

备选方案（如果需要多参数） #

如果你的myfunc需要多个参数，可以用starmap来传递元组参数：

def myfunc(a, dummy):
    b = 2
    return a + 1, b + 2

if __name__ == '__main__':
    # ... 其他代码不变 ...
    for arg in args:
        with Pool(2) as p:
            # 生成包含repeat个(arg, i)的元组列表，dummy参数不影响逻辑，只是凑够调用次数
            out1, out2 = zip(*p.starmap(myfunc, [(arg, i) for i in range(repeat)]))
            # ... 后续代码不变 ...

关键总结 #

• 多进程编程中尽量避免使用全局变量传递参数，子进程和父进程的内存是隔离的，全局变量很容易出现意料之外的取值。
• 始终把主逻辑放在if __name__ == '__main__':内部，尤其是Windows系统，否则会触发无限创建子进程的问题。

内容的提问来源于stack exchange，提问作者SG_