为什么多次调用torch.cuda.is_available()始终返回True？

1. 为什么torch.cuda.is_available()不会在后续调用时返回False #

torch.cuda.is_available()的返回值仅和CUDA环境可用性相关：仅当PyTorch无法检测到适配的CUDA驱动、GPU硬件异常断开、PyTorch版本与CUDA版本不匹配时，才会返回False，和当前GPU显存占用率没有任何关系。
PyTorch本身没有「显存不足就自动切换到CPU计算」的逻辑，就算显存被完全占满，这个接口依然会返回True，后续计算如果申请不到显存会直接抛出CUDA out of memory错误，不会自动切换到CPU执行。

2. computeProposals方法退出后的GPU资源释放规则 #

你这段代码里，模型参数、输入张量、中间计算张量都是computeProposals的局部变量：当函数执行完成返回后，这些局部变量的引用计数会归零，对应的GPU显存资源会被PyTorch自动回收：

• 实际存储数据的显存会被标记为可复用状态，PyTorch默认会保留一部分显存缓存，避免频繁申请释放显存的开销，这部分缓存对上层代码透明，下次需要显存时会优先从缓存中分配，不会出现持续累积占用的情况
• 如果需要主动把未使用的缓存还给操作系统，可以调用torch.cuda.empty_cache()，但正常运行场景下不需要主动调用

你现在多次调用都没有触发异常，说明单次调用占用的显存小于你的GPU可用显存，每次函数退出后资源都正常释放供下一次调用使用，不存在资源泄漏的问题。

3. 现有代码的潜在优化点 #

当前写法每次调用computeProposals都会重复加载模型、将模型迁移到GPU，会带来不必要的IO和显存操作开销，建议把模型初始化、预训练权重加载、迁移到GPU的逻辑提到全局，在服务启动时仅执行一次，每次调用computeProposals直接复用全局的模型对象即可，能大幅提升接口的响应速度。

内容的提问来源于stack exchange，提问作者user1245262