Python多参数并行循环执行时无法识别迭代序号i的解决方法

现存问题 #

你当前的代码有三个核心问题导致改造失败：

• 原代码重复定义了BRANCH1函数，后一个定义会直接覆盖前一个，覆盖后的函数没有将迭代序号i设为入参，运行时无法识别该变量。
• executor.map会将传入可迭代对象的元素逐个作为参数传给目标函数，你用partial提前固定了BRANCH1的三个入参，函数本身没有预留接收迭代序号的参数位，循环序号无法传入并行任务。
• 多进程模式下全局变量是各进程独立持有的拷贝，就算传入i，直接在子进程修改全局sum也不会同步到主进程，最终计算结果会出错；多线程场景下这么写还会触发竞态问题。

正确实现代码 #

核心思路是把单次迭代的逻辑拆分为独立的并行任务，将迭代序号作为显式入参传给任务函数，所有子任务只返回单次计算结果，最后在主进程统一汇总，避免跨进程的变量共享问题。
如果是CPU密集型计算用ProcessPoolExecutor绕开GIL限制，IO密集型场景再替换为ThreadPoolExecutor即可：

import concurrent.futures
from functools import partial

# 单迭代任务逻辑，i作为第一个入参接收迭代序号
def BRANCH1(i, param1, param2, param3):
    # 仅返回当前迭代的计算值，不操作全局sum
    return i + param2 + param3

if __name__ == "__main__":
    # 替换为实际业务参数
    brnchs = 100
    param1 = "test"
    param2 = 2
    param3 = 3

    # 多进程并行执行
    with concurrent.futures.ProcessPoolExecutor() as executor:
        # 固定除迭代序号i之外的其他参数
        task = partial(BRANCH1, param1=param1, param2=param2, param3=param3)
        # 传入迭代序号序列，map会自动将每个i传入任务函数
        task_results = executor.map(task, range(brnchs))
    
    # 主进程统一汇总结果
    total_sum = sum(task_results)
    print(total_sum)

注意事项 #

• 多进程代码必须放在if __name__ == "__main__":块内，避免Windows平台下子进程递归导入主模块触发报错。
• 不要在子任务里修改全局变量，不管多进程还是多线程场景，返回结果后统一在主进程汇总的方式最稳定，不会出现数据错乱。
• 如果单迭代任务粒度过小导致进程调度开销太高，可以把迭代区间按进程数切分，每个子任务处理一段连续的序号，逻辑和上述方案一致，只是传入的参数从单个序号变成序号区间。

内容的提问来源于stack exchange，提问作者Caroline Bettach