Python实现类似MATLAB parfor功能的并行for循环方案咨询

针对你要在外层G循环做并行的需求，最简便、和parfor逻辑最对齐的实现是用Python标准库自带的concurrent.futures.ProcessPoolExecutor做进程级并行——因为你的代码是矩阵计算、统计检验这类CPU密集型任务，用进程池可以避开Python全局解释器锁（GIL）的限制，和MATLAB parfor多worker并行的运行逻辑完全一致，不需要额外安装第三方包。

实现逻辑说明 #

• 把外层单次G迭代的所有计算逻辑封装成独立的顶层函数，每个函数接收一个G的索引作为输入，内部跑完该G值对应的全部内层t循环计算，返回该组的所有计算结果
• 进程池会自动把外层任务分配到不同CPU核心上调度执行，和parfor自动分配任务给worker的行为一致
• 所有并行任务执行完成后，在主进程统一把返回的结果合并成pandas DataFrame，避免多进程内存隔离导致的共享变量写入失败问题（这点和parfor要求循环内不要随意修改外部共享变量的注意事项完全相同）

修改后的可直接适配代码 #

import pandas as pd
import scipy.stats
from concurrent.futures import ProcessPoolExecutor

# 原有参数定义保持不变
t = list(range(1, 3, 1))
G = list(range(0, 3, 2))

# 封装外层单轮G迭代的计算逻辑，多进程要求函数可序列化，必须定义在顶层
def process_single_G(iteration_G):
    current_G_val = G[iteration_G]
    group_result = []
    for iteration_t in range(len(t)):
        current_t_val = t[iteration_t]
        # 这里替换成你原有生成matrix_1、matrix_2的业务代码
        matrix_1, matrix_2 = "替换为实际的矩阵生成逻辑"
        
        tau, p_value = scipy.stats.kendalltau(matrix_1, matrix_2)
        group_result.append({
            "tau": tau,
            "p_value": p_value,
            "G": current_G_val,
            "t_i": current_t_val
            # 注：你原代码里t_i字段赋值写的是G[iteration_t]，和字段名不匹配，疑似笔误，这里按逻辑修正为取t列表的值
        })
    return group_result

if __name__ == "__main__":
    # Windows系统下必须加这个主入口判断，否则会触发多进程递归启动报错，mac/Linux建议保留保证兼容性
    total_results = []
    # 不指定max_workers时默认调用CPU全部逻辑核心，和parfor默认worker数逻辑一致，可手动传入参数调整核心数
    with ProcessPoolExecutor() as executor:
        # 自动并行遍历所有外层G迭代，等价于parfor iteration_G = 0:length(G)-1
        for single_group in executor.map(process_single_G, range(len(G))):
            total_results.extend(single_group)
    
    # 合并所有结果为DataFrame，和你原有results结构完全一致
    results = pd.DataFrame(total_results, columns=["tau", "p_value", "G", "t_i"])

注意事项 #

• 不要在process_single_G函数里直接修改主进程定义的results变量，多进程之间内存是完全隔离的，直接修改不会同步到主进程，必须通过返回值收集结果后统一合并
• 如果生成matrix_1、matrix_2的逻辑依赖其他外部参数，直接把参数作为process_single_G的入参传入即可，不要在函数内直接修改全局变量
• 如果单次任务计算量很小，不建议用并行，进程启动调度的开销会大于并行带来的收益，这一点和MATLAB parfor的适用场景是一致的

内容的提问来源于stack exchange，提问作者Orestis