如何在运行应用时禁用CUDA PTX转二进制的JIT编译

针对你提到的CI/CD等场景需要避免PTX转GPU汇编的JIT耗时、甚至直接强制应用走CPU模式的需求，可参考以下落地方法：

方案1：完全强制应用运行在CPU模式（从根源避免触发JIT） #

该方案直接切断GPU调用路径，完全不会触发PTX加载和JIT流程，适合不需要GPU算力的测试、CI流水线场景：

• 通用CUDA应用零侵入配置：设置环境变量CUDA_VISIBLE_DEVICES=-1即可，该配置对所有基于CUDA开发的应用生效，系统会识别为无可用GPU设备，应用自动回退到CPU运行模式，无需修改任何代码，是CI/CD场景的首选方案。
• PyTorch应用额外配置：可在代码入口添加torch.set_num_gpus(0)，或全局指定张量运行设备为device = torch.device("cpu")，主动绑定所有计算逻辑到CPU。
• TensorFlow应用额外配置：除设置上述环境变量外，可添加代码tf.config.set_visible_devices([], 'GPU')，主动隐藏所有GPU设备避免误调用。

方案2：保留GPU运行能力，同时避免JIT耗时 #

如果场景需要使用GPU算力，只是不想等待首次运行的JIT编译过程，可采用以下方法：

• 预编译全目标架构二进制：在编译应用对应的CUDA代码时，通过gencode参数指定所有运行环境的GPU架构，将对应架构的机器码直接编译进二进制文件，运行时无需再做JIT转换。例如需要支持安培、Ada架构时，编译参数添加-gencode arch=compute_80,code=sm_80 -gencode arch=compute_89,code=sm_89即可。
• 开启JIT缓存避免重复编译：设置环境变量CUDA_CACHE_DISABLE=0开启JIT缓存，首次运行编译后的结果会被缓存到本地，后续运行无需重复编译，适合非首次运行占比更高的场景。
• 强制禁用JIT fallback：设置环境变量CUDA_DISABLE_PTX_JIT=1，运行时如果设备没有匹配的预编译二进制代码会直接报错，不会触发JIT编译，适合可提前确定运行GPU架构的生产环境。

内容的提问来源于stack exchange，提问作者648trindade