为何Python多进程求解solve_ivp随维度增大变慢，单线程却正常？

问题背景 #

在一维工程模拟中，通过多进程并行处理不同实验数据，调用solve_ivp求解由PDE离散得到的ODE系统。但观察到：当矩阵大小N超过阈值（如N>99）后，多进程方式的速度反而不如单线程；N更大时，多进程比单线程慢很多，而单线程仍能正常运行。

核心原因分析 #

1. 多进程的额外开销随任务规模增大而剧增 #

Python的multiprocessing基于操作系统进程实现，每个进程需要独立的内存空间：

• 当N增大时，每个任务的内存占用（初始值数组y0、矩阵mat、求解结果等）成比例增长，进程创建时的内存复制、运行时的进程调度开销会急剧上升，抵消甚至超过并行计算带来的收益。
• 单线程无需进程切换和内存复制的额外开销，仅需承担计算量增长的成本，因此能保持稳定的运行效率。

2. CPU缓存资源争抢导致命中率下降 #

• 当矩阵规模超过CPU缓存容量时，多进程同时运行会让多个进程的内存数据争抢有限的缓存资源，导致缓存命中率大幅降低，每个进程的计算效率都会显著下降。
• 单线程运行时，CPU可以集中缓存当前计算所需的数据，缓存命中率更高，即使计算量增加，效率下降的幅度远小于多进程场景。

3. 求解器内部并行与多进程的资源冲突 #

你使用的Radau求解器底层依赖BLAS/LAPACK库，这些库默认会启用多线程并行计算：

• 当你用12个多进程同时运行时，每个进程都会触发求解器的内部多线程，导致CPU核心被过度占用，上下文切换频繁，整体计算效率暴跌。
• 单线程运行时，求解器的内部并行可以充分利用CPU资源，不会出现资源争抢的情况，因此能高效处理大规模矩阵的计算。

优化建议 #

• 限制求解器内部线程数：设置环境变量OMP_NUM_THREADS=1（Linux系统），禁用求解器的内部多线程，避免与多进程的资源冲突。
• 复用内存资源：提前预先生成ODE所需的矩阵mat，而非在ode函数中每次重新创建，减少内存分配和复制的开销。
• 动态调整并行策略：根据矩阵规模N选择并行方式：N较小时用多进程并行；N较大时改用单线程配合求解器的内部并行，避免不必要的进程开销。

测试代码 #

import multiprocessing as mp
import scipy
import numpy as np
import datetime


def ode(t, x, N):
    mat = np.identity(N+1)
    mat = np.negative(mat)
    # Derivative
    del_x_d_dt = (mat @ x)
    return del_x_d_dt


def solve_ode(N):
    # Initial Values
    y0 = np.ones(N+1)
    # Solve Equation System
    sol = scipy.integrate.solve_ivp(
        fun=ode,
        t_span = [0, 3600],
        y0=y0,
        method = 'Radau',
        t_eval = np.arange(3600+1),
        vectorized=False,
        args=(N,)
        )
    return sol.t, sol.y


# Settings
N = 99
num_cpu = 12

# Multiprocessing
pool = mp.Pool(num_cpu)

print(f"{datetime.datetime.now()}: Started mp ...")
# Execute 10 times
items = [(N,),(N,),(N,),(N,),(N,),(N,),(N,),(N,),(N,),(N,)]
results = pool.starmap(solve_ode, items)
print(f"{datetime.datetime.now()}: ... Finished mp")

内容的提问来源于stack exchange，提问作者linus2211