跨Python文件调用numba jitted函数如何避免重复编译

核心原因说明 #

你遇到的跨文件重复编译问题，本质上是Numba默认只会在当前进程的同模块命名空间下保留JIT编译结果，且默认不会持久化存储编译产物，当模块导入路径存在差异、或者进程重启时都会触发重新编译。不需要用到AoT编译，以下两个方案即可解决： #

方案1：开启Numba内置缓存（最推荐） #

给@njit装饰器添加cache=True参数，Numba会将编译好的机器码持久化存储到本地磁盘的缓存目录（默认存在你的Python环境下的__pycache__或者Numba专属缓存目录），后续无论在哪个文件调用该函数，只要函数本身代码、输入参数的类型没有变化，就会直接读取缓存的编译结果，不会重复编译。
修改后的代码示例：

# 仅需要给njit装饰器加cache参数即可
@njit(cache=True)
def function1(inputs):
    ...

@njit(cache=True)
def function2(inputs):
    ...

这个方案不需要你提前定义函数签名，完全适配你当前的使用场景。 #

方案2：统一模块导入路径+提前触发编译 #

如果不想开启本地缓存，可以做以下两点优化：

• 确保项目所有位置导入myclass的路径完全一致：不要出现一会用from classes.myclass import MyClass一会用import myclass这类不同路径的导入方式，避免Python将同一个模块识别为两个不同的命名空间，导致Numba认为是两个不同的函数重复编译。
• 在myclass.py的模块末尾提前用你常用的参数类型触发一次编译，模块首次被导入时就会完成JIT编译，后续所有文件调用都直接复用结果：

# myclass.py 末尾添加，用你常用的参数类型示例触发编译
if __name__ != "__main__":
    # 传入和实际使用时类型、维度一致的示例参数即可，不需要实际有返回值
    _ = function1(示例参数)
    _ = function2(示例参数)

内容的提问来源于stack exchange，提问作者Kağan Aytekin