多线程环境多次调用YoloV5模型致GPU挂起，多模型并发内存占满求助

一、核心泄漏点排查 #

• 张量/计算图未及时释放：并发调用时，每个请求生成的临时张量、未禁用梯度的计算图会在GPU持续堆积。务必用torch.no_grad()或torch.inference_mode()包裹推理代码（禁用梯度计算，避免存储冗余计算图节点），推理结束后执行torch.cuda.empty_cache()清理显存碎片。
• 模型实例重复加载：如果并发逻辑存在漏洞，每个请求都重新加载模型，多份权重会直接占满显存。确认模型为全局单例加载——比如服务初始化时一次性把所有模型加载到GPU，后续请求复用同一实例。
• 动态张量缓存残留：部分模型（如Transformer）会根据输入尺寸生成动态注意力缓存，若请求输入长度波动大且未及时清理，缓存张量会逐步侵占显存。可强制固定输入尺寸，或在每个请求结束后手动销毁动态生成的缓存变量。

二、针对性优化手段 #

• 启用显存分片机制：启动服务前设置环境变量 PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True，让PyTorch更高效复用显存空间，减少碎片导致的“虚假占满”。
• 模型量化压缩：用torch.ao.quantization将模型转为INT8精度，显存占用直接减半，对推理速度影响极小。示例代码：

  import torch.ao.quantization as quantization
  # 配置量化参数
  model.qconfig = quantization.get_default_qconfig('fbgemm')
  model = quantization.prepare(model, inplace=False)
  # 用少量样本校准
  model(example_input)
  model = quantization.convert(model, inplace=False)
  

• 显存监控与主动回收：在服务中加入监控逻辑，当显存使用率超过阈值（如90%）时触发回收：

  import gc
  def force_clean():
      gc.collect()
      torch.cuda.empty_cache()
      # 打印当前显存占用便于排查
      print(f"GPU Used: {torch.cuda.memory_allocated()/1024**3:.2f} GB")
  

• 并发请求限流：若用多线程/进程部署，限制同时处理的请求数（比如线程池max_workers设为GPU核心数的1-2倍），避免瞬间大量请求同时生成张量导致显存峰值超限。

三、特殊场景排查 #

• 多进程CUDA上下文冲突：多进程部署时，每个进程会创建独立CUDA上下文，叠加占用额外显存。改用单进程多线程模式，或用CUDA_VISIBLE_DEVICES为每个进程绑定独立GPU。
• 第三方库隐性内存占用：检查数据预处理代码（如OpenCV、PIL的GPU操作），确认没有残留未释放的GPU张量，必要时将预处理后的张量转至CPU再传入模型。

内容的提问来源于stack exchange，提问作者padrickRome