循环中多次调用Numba函数性能逐次下降的问题排查

可能的触发原因 #

• 动态编译累积开销：即使参数尺寸固定，若函数内部存在分支逻辑或依赖隐式动态状态，Numba可能在迭代中进行增量编译，导致编译缓存膨胀、运行时编译开销逐步累积。
• 内存泄漏/垃圾堆积：Numba函数内未正确回收的手动管理内存（如临时数组），或Python循环中未清理的大量临时对象，会导致内存占用持续上升，触发系统页交换，拖慢执行速度。
• 多线程资源竞争：若启用了Numba的parallel模式，多次调用可能引发线程池资源竞争，系统调度开销随迭代次数增加而上升。

针对性解决措施 #

• 强制提前编译，禁用动态编译：
  使用@numba.njit(cache=True)确保函数提前编译并缓存，避免运行时重复编译。同时在循环前手动调用一次函数触发编译：

  # 循环前传入示例参数触发编译
  your_numba_func(*sample_inputs)
  

• 排查并解决内存问题：
  用psutil库在循环中定期打印内存占用，确认是否持续上涨。Numba函数内确保所有临时数组均为局部变量（自动回收），避免使用全局变量存储中间结果；Python侧可在循环间隙调用gc.collect()主动触发垃圾回收。
• 调整并行设置：
  若使用了parallel=True，尝试用numba.set_num_threads(1)禁用多线程，观察性能衰减是否消失。若必须用多线程，可提前初始化线程池避免重复创建。
• 开启快速数学优化：
  使用@numba.njit(fastmath=True)减少运行时数值检查开销，同时确保函数为纯数值计算（无Python对象操作）。

验证步骤 #

1. 运行MVP代码时同步监控内存占用，确认是否存在内存泄漏。
2. 将Numba函数移至循环外提前编译，对比性能变化。
3. 禁用并行模式后，观察单次调用耗时是否稳定。

内容的提问来源于stack exchange，提问作者Lisitrx