CUDA_CACHE_DISABLE=1的作用是什么？请详解二进制缓存等相关问题

什么是CUDA JIT的二进制缓存与检索？ #

CUDA程序中，部分核函数不会提前编译为适配目标GPU架构的二进制文件，而是在程序运行时进行即时编译（JIT）。编译生成的二进制代码会被存储在本地磁盘的指定缓存目录（比如Linux系统下的~/.nv/ComputeCache），这就是二进制缓存。
当后续再次运行同一程序、调用同一核函数时，CUDA会先检查缓存中是否存在匹配的二进制文件，若存在则直接复用，无需重新编译，这一过程就是缓存检索。

设置CUDA_CACHE_DISABLE=1的优势 #

• 避免缓存冗余堆积：如果你的程序频繁修改核函数代码或使用不同编译参数，缓存会积累大量无用的旧二进制文件，禁用缓存后不会产生这类垃圾，节省磁盘空间。
• 保证调试准确性：在调试阶段修改核函数后，禁用缓存能确保每次运行都重新编译最新代码，不会因缓存中的旧二进制文件导致调试结果偏差。
• 强化环境一致性：在多节点集群或容器环境中，禁用缓存可避免不同节点/容器间因缓存差异引发的运行不一致问题，确保每个环境都从全新编译开始，运行结果统一。

对GPU内存利用率的影响 #

禁用JIT缓存不会直接提升GPU内存利用率。因为缓存存储在磁盘而非GPU内存中，无论是否启用缓存，程序运行时所需的最终二进制代码都会被加载到GPU内存中，因此GPU内存占用不会因禁用缓存而减少。
需要注意的是，禁用缓存后每次运行程序都要重新执行JIT编译，会增加启动阶段的CPU负载和程序启动时间。

内容的提问来源于stack exchange，提问作者Janus_Von