使用joblib并行操作共享numpy数组速度慢于串行的原因是什么

性能问题的核心原因 #

• 任务粒度过小，并行开销抵消收益
  你示例中的compute函数仅包含单次开根号运算与数组赋值操作，单轮执行耗时不足1微秒，而joblib的任务分发、线程调度、跨线程函数调用都存在固定开销。10000次细粒度任务的调度总开销远高于计算本身的耗时，最终导致并行比串行更慢。
• GIL限制导致多线程无实际并行效果
  你使用的threading后端基于Python原生线程实现，受CPython全局解释器锁（GIL）约束，执行纯Python计算逻辑时同一时间仅能有一个线程运行，完全不会产生多核加速效果，反而额外增加了线程切换的开销。
• 共享内存缓存一致性开销
  虽然你确认无竞态条件，但多线程同时写入同一块numpy数组对应的内存区域时，会触发CPU缓存一致性校验的额外开销，进一步拖慢执行速度。

优化建议 #

• 调大任务粒度：把10000次索引计算拆分为和核心数相等的大任务块，每个线程一次性处理数千个索引的计算，大幅降低调度开销。
• 计算密集型场景换用多进程后端：将backend参数改为loky使用多进程模式，避开GIL限制，仅适合任务计算量远大于进程间通信开销的场景。
• 优先使用numpy向量化操作：你当前的计算逻辑完全可以用numpy原生向量化实现I = np.sqrt(np.arange(N))，执行效率远高于手写循环，不需要额外并行。

内容的提问来源于stack exchange，提问作者kstn