Python使用并行处理加速for loop反而变慢的问题排查及优化方案咨询

• 多进程开销远超实际计算收益：你每个子任务仅执行A+B+C的极简计算，而多进程启动、进程间数据拷贝、任务调度的开销比实际计算时间高几个数量级，反而拖慢速度。且Python multiprocessing默认不共享内存，每个子进程都会完整复制父进程的DataFrame资源，小数据量下纯属于性能浪费。
• 代码写法冗余低效：你的Addition函数里完全没必要额外查询df.loc[A,B,C]，直接返回A+B+C即可，多余的索引查询白白增加耗时；同时你原本的三层for循环逐行赋值本身就是Pandas最反范式的写法，串行效率本身就极低。
• 计时方法完全错误：timeit.timeit()默认执行传入的空语句百万次，你现在统计的根本不是代码块的实际运行时间，正确应该用time.perf_counter()来统计块运行时长。

最优解：优先用Pandas向量化操作 #

完全不需要并行，速度比你当前的写法快上百倍，一行代码即可实现需求：

# 直接从MultiIndex取出对应level的值做向量化相加
df['Output'] = df.index.get_level_values('a') + df.index.get_level_values('b') + df.index.get_level_values('c')

必须并行的场景处理方案 #

如果你的实际业务逻辑比加法复杂、无法向量化，要遵循「大任务拆分」原则，不要给每个元素单独分配任务，把输入拆成大块分给每个进程，减少通信开销，示例写法：

import itertools
import pandas as pd
import multiprocessing as mp
import time

inputs = [range(50),range(90),range(30)]
inputs_list = list(itertools.product(*inputs))
Index = pd.MultiIndex.from_tuples(inputs_list,names=["a", "b", "c"])
df = pd.DataFrame(index = Index)

# 业务函数改为批量处理输入，不要单元素处理
def batch_process(batch_inputs):
    # 此处可替换为你的复杂业务逻辑
    return [A+B+C for A,B,C in batch_inputs]

if __name__ == '__main__':
    # 把输入拆成和进程数相等的块
    num_workers = mp.cpu_count()
    chunk_size = len(inputs_list) // num_workers
    chunks = [inputs_list[i:i+chunk_size] for i in range(0, len(inputs_list), chunk_size)]
    
    start = time.perf_counter()
    pool = mp.Pool(num_workers)
    # 批量处理每个块
    results = pool.map(batch_process, chunks)
    pool.close()
    pool.join()
    # 合并结果赋值
    df['Output'] = list(itertools.chain.from_iterable(results))
    end = time.perf_counter()
    print(f"并行耗时：{end - start}")

内容的提问来源于stack exchange，提问作者Ana