Python中Numba并行计算性能为何低于非并行计算?
Numba并行版本性能低于串行版本的核心原因
- 数据结构适配错位,并行优化完全失效
Numba的prange并行调度、向量化加速设计目标是连续内存存储的数值数据,你当前代码中使用的Python原生列表是离散存储的指针链表,每个元素对应独立的Python整数对象,既无法利用CPU缓存的连续访问特性,也没法被SIMD向量化指令加速。并行线程访问列表元素时,还会触发额外的对象引用检查、边界校验开销;尤其是并行版本中对sum变量的归约操作,依托离散的列表元素访问,额外的局部线程变量同步成本会进一步拉高总耗时,根本发挥不出多核计算的优势。 - 并行固定调度开销超过计算收益
开启并行执行后,Numba需要额外承担任务分片、跨线程上下文切换、局部变量归约同步等固定成本。你这段代码的单循环计算量非常轻量:仅100万次整数乘方、100万次整数累加,单核本身的执行耗时极短,固定的并行调度开销已经超过了多核拆分计算带来的时间缩减,最终总耗时反而更高。 - 测试计时的基准不对等
你测试并行版本时是首次调用@njit装饰的函数,这一过程需要包含Numba把Python代码编译为机器码、初始化并行执行环境的开销,这部分成本会被直接计入测试结果。而你的非并行版本是纯Python原生解释执行,不存在编译过程,两个版本的计时范围从一开始就不具备可比性。
修正性能对比的正确操作
- 替换存储结构:把Python列表更换为连续内存布局的
numpy.ndarray,或Numba原生支持的数值数组类型,从根源上消除离散存储的访问开销 - 增加预热步骤:正式计时前先无统计地调用一次被
@njit装饰的函数,把JIT编译的成本从测试范围中排除 - 放大测试规模:将循环次数提升到千万、亿级别,让并行拆分带来的算力收益超过固定的调度开销,才能真实体现并行版本的性能优势
内容的提问来源于stack exchange,提问作者Freelancer
相关产品推荐
相关产品推荐

