Python并行化执行含列表追加的for循环时报索引越界如何解决

错误原因 #

• 传参逻辑错误：multiprocessing.Pool.map()默认仅支持给目标函数传递单个可迭代参数，你定义的tran_for_loop要求11个入参，但调用时仅传入了j，其余参数缺失。如果你将rvm、Nr等设为全局变量，不同进程的内存空间相互隔离，子进程也可能无法正确读取主进程的全局变量值，导致rvm列表长度读取错误触发索引越界。
• 循环逻辑重复：你已经通过pool.map迭代了Nr次，将每个j值传入子进程，但tran_for_loop内部又加了一层for j in range(Nr)的循环，相当于每个子进程都要完整跑100次计算，不仅逻辑错误，也会导致j的取值超出rvm的索引范围。
• 共享变量错误：多进程内存相互隔离，主进程定义的MBvals、MDvals和子进程内的同名列表是独立对象，子进程追加的内容无法同步到主进程，即使跑通也拿不到最终结果。

修正后代码 #

首先将单个rv值的计算逻辑抽离，不要依赖全局变量，通过返回值传递结果：

import multiprocessing as mp

# 提前打包所有常量参数，需确保你已经给这些变量正确赋值
CONST_PARAMS = (Rb, n, b_n, M_B_tot, Rd, M_D_tot)

def calculate_single(rv, const_params):
    Rb, n, b_n, M_B_tot, Rd, M_D_tot = const_params
    mb_res = M_B(rv, Rb, n, b_n, M_B_tot)
    md_res = M_D(rv, Rd, M_D_tot)
    return (mb_res, md_res)

if __name__ == '__main__':
    # 直接迭代rvm列表，不需要额外传递索引j，避免索引越界
    with mp.Pool(processes=mp.cpu_count()) as pool:
        # 打包每个任务的参数
        task_list = [(rv, CONST_PARAMS) for rv in rvm]
        # 批量执行并获取结果
        all_result = pool.starmap(calculate_single, task_list)
    
    # 拆分结果得到两个目标列表
    MBvals = [item[0] for item in all_result]
    MDvals = [item[1] for item in all_result]

逻辑说明 #

• 去掉了原代码中冗余的内层循环，每个子进程仅处理单个rv值的计算，避免重复执行和索引越界
• 所有常量参数显式打包传递给子进程，不依赖全局变量，规避多进程内存隔离带来的变量读取问题
• 计算结果通过函数返回值传回主进程，统一合并得到最终的MBvals和MDvals，不需要跨进程共享列表对象

内容的提问来源于stack exchange，提问作者Bobasheto