如何轻松并行化蒙特卡洛模拟？Python实现方案求助

问题场景 #

需要用固定参数a,b,c,d重复运行数百次simulation_trial函数，每次仅随机误差err不同。函数负责生成数据、绘图并保存本地文件，原串行循环耗时过长，尝试多进程实现但出现空白图等问题。

原始串行代码：

for n in range(200):
     simulation_trial(a,b,c,d,n)

错误的多进程尝试：

N = 200

with multiprocessing.Pool(os.cpu_count()) as pool:
    pool.apply_async(simulation_trial, (a, b, c, d, range(N)))

问题根源 #

1. apply_async仅单次调用函数，将range(N)作为n参数传入，而非循环调用200次
2. 多进程环境下，matplotlib默认交互式后端无法正常渲染图像，导致空白图
3. 所有进程写入同一个./data.npz文件，会导致数据覆盖
4. 子进程的print输出可能无法实时显示（可选优化点）

正确实现代码 #

import numpy as np
import matplotlib.pyplot as plt
import multiprocessing
import os

# 配置matplotlib使用非交互式后端，适配多进程环境
plt.switch_backend('Agg')

def simulation_trial(a, b, c, d, n):
    # 用试验索引作为随机种子，保证结果可复现（可选）
    rng = np.random.default_rng(seed=n)
    err = rng.normal(0, 1, 1)
    
    # 替换为你的实际计算逻辑，生成some_data
    some_data = (np.arange(10), np.arange(10) + err)
    
    print(f"completed trial {n}")
    # 绘图并保存为独立文件，避免覆盖
    plt.plot(some_data[0], some_data[1])
    plt.savefig(f"./plot_{n}.png")
    plt.close()  # 关闭画布释放内存
    np.savez(f"./data_{n}.npz", some_data=some_data)
    return 0

if __name__ == "__main__":
    # 设置固定参数
    a = 1
    b = 2
    c = 3
    d = 4
    total_trials = 200
    
    # 批量准备参数列表，每个元组对应一次试验的参数
    trial_params = [(a, b, c, d, trial_idx) for trial_idx in range(total_trials)]
    
    # 创建进程池，自动适配CPU核心数
    with multiprocessing.Pool(os.cpu_count()) as pool:
        # 用starmap批量执行函数，自动分配任务到子进程
        pool.starmap(simulation_trial, trial_params)

核心细节说明 #

• 必须添加if __name__ == "__main__":：这是Python多进程的跨平台要求，避免子进程重复执行主模块代码
• 更换matplotlib后端：Agg是无GUI的后端，适合在子进程中生成图像
• 独立文件名：给每个试验的图和数据文件添加索引后缀，避免多进程写入冲突
• 随机种子控制：用试验索引作为随机数种子，确保每个试验的随机序列固定，方便复现结果
• starmap用法：自动将参数列表中的每个元组拆解为函数的参数，批量分发任务到进程池

内容的提问来源于stack exchange，提问作者Ian Thornton