升级Anaconda新版本后Numpy/Numba运行速度大幅下降

一、Numba版本升级导致的性能下降（0.50.1 → 0.56.4） #

你的测试显示目标函数运行耗时从6.07µs飙升至21.9µs，主要可能由以下几个原因导致：

• JIT优化策略调整：Numba后续版本对代码模式的优化优先级发生了变化。你的代码包含手动边界处理+主循环的结构，旧版本0.50.1可能针对这类特定结构做了针对性的循环展开、寄存器分配优化，而新版本为了适配更广泛的代码场景，弱化了这类特殊优化，导致生成的机器码效率降低。
• 类型推断与内存管理开销增加：新版本Numba在变量类型推断、内存分配（如np.empty的初始化逻辑）上更加严谨，但这种严谨性在小数组场景下会带来明显的额外开销——你的输入数组长度为10001，属于中等偏小的规模，额外开销的占比被放大。
• Fastmath实现细节变更：尽管你启用了fastmath=True，但不同版本对浮点优化的范围、精度取舍逻辑有差异。新版本可能收紧了某些不安全的浮点优化，或者调整了指令集的使用策略，导致计算效率下降。
• 兼容性补丁的额外开销：为了支持更高版本的Python、Numpy及更多硬件架构，Numba新版本加入了不少兼容性代码，这些代码在特定场景下会引入运行时的额外检查或分支，拖慢执行速度。

二、Numpy版本升级导致的性能下降（1.16.6 → 1.17.0） #

针对np.exp函数的性能退化，核心原因集中在底层实现的变更：

• 数学函数底层实现替换：Numpy 1.17.x对exp等基础数学函数的底层实现进行了调整，比如切换了BLAS后端的调用方式，或者修改了向量化计算的逻辑。如果你的硬件对新实现的缓存友好性较差，或者分支预测效率降低，就会出现明显的耗时增加。
• 默认精度策略调整：新版本可能默认启用了更高精度的浮点计算模式，放弃了旧版本中部分牺牲精度换取速度的优化逻辑，这在对精度敏感的场景下是正向改进，但会直接导致计算耗时上升。
• API兼容性检查增加：为了适配后续Python类型系统的变化和新特性，Numpy在函数调用链路中添加了额外的参数类型、维度检查逻辑，小数组场景下这些检查的开销占比远高于计算本身，最终表现为整体耗时暴涨。

验证与优化建议 #

针对Numba： #

1. 显式指定参数类型：将装饰器改为@njit(float64[:], float64[:], fastmath=True)，减少类型推断的开销。
2. 调整代码结构：尝试将边界处理逻辑与主循环合并，或者测试使用prange（如果适合并行计算），看是否能恢复性能。
3. 版本定位测试：逐步测试Numba的中间版本（如0.52、0.54），找到性能开始下降的具体版本，再去官方issue中查找对应的变更记录。

针对Numpy： #

1. 检查BLAS后端：运行np.show_config()对比新旧版本的BLAS/LAPACK后端差异，尝试切换回旧版本使用的后端（比如从MKL换回OpenBLAS，反之亦然）。
2. 小数组场景优化：对于小规模数组，用Numba包装np.exp实现，或者手动实现近似计算逻辑，绕过Numpy的新调用链路。
3. 查阅版本变更日志：查看Numpy 1.17的官方release notes，确认exp函数相关的具体变更，针对性调整代码。

内容的提问来源于stack exchange，提问作者Klaus3