为何numpy搭配multiprocessing运行比串行慢？如何优化实现并行加速？

• 你使用的numpy默认绑定了OpenBLAS、MKL这类多线程线性代数后端，默认会占用所有可用CPU核心执行矩阵运算
• Python multiprocessing默认使用fork模式创建子进程，子进程会完全继承父进程的后端线程配置：你开启10个子进程的情况下，每个进程都默认启动12个（你的CPU为6核12线程）计算线程，总计120个线程抢占12个逻辑核心，产生大量上下文切换开销，直接导致单任务计算效率暴跌2-3个数量级
• Ray框架默认会给每个worker进程自动设置线性代数后端的线程数为1，从根源避免了多进程+多线程的资源抢占，因此性能符合预期

方案1：设置环境变量限制后端线程数 #

在导入numpy之前，通过环境变量强制设置OpenBLAS/MKL/OpenMP的最大线程数为1，修改后代码如下：

# 必须放在导入numpy之前执行，否则配置不生效
import os
os.environ["OPENBLAS_NUM_THREADS"] = "1"
os.environ["MKL_NUM_THREADS"] = "1"
os.environ["OMP_NUM_THREADS"] = "1"

# 后续导入numpy、multiprocessing等库的逻辑保持不变
import time
from multiprocessing import Pool
from numpy.random import rand, randint
import numpy.linalg as la
import numpy as np

# 其余原有代码完全保持不变

方案2：使用threadpoolctl动态控制线程数 #

使用第三方库threadpoolctl可以自动适配所有线性代数后端，无需手动区分OpenBLAS/MKL/OpenMP：
首先安装依赖：pip install threadpoolctl
然后修改计算函数即可：

from threadpoolctl import threadpool_limits

def f(sp):
    (M, i) = sp
    # 限制当前进程的所有线性代数后端线程数为1
    with threadpool_limits(limits=1, user_api='blas'):
        t0 = time.time()
        M = (M @ M.T) / 1000 + np.eye(M.shape[0])
        M_inv = la.inv(M)
        t_elapsed = time.time() - t0
    return i, M.shape[0], la.det(M_inv), t_elapsed

额外优化建议 #

• 进程数设置不要超过CPU物理核心数，你的CPU为6物理核，Pool(processes=6)即可，设置过高反而会增加调度开销
• 如果使用spawn模式启动进程，需要将环境变量设置逻辑放到子进程初始化钩子中，避免配置不生效

修复后第一轮测试的并行总耗时应该在1s左右（串行5.36s/6核，扣除少量 overhead），单任务内部耗时与串行基本一致，不会再出现数量级的性能下降。

内容的提问来源于stack exchange，提问作者ersatz