GPU多进程运行时出现内存相关的cuDNN卷积算法错误

• 问题本质：你遇到的RuntimeError: Unable to find a valid cuDNN algorithm to run convolution确实是显存耗尽的伪装报错。哪怕时间切片调度保证同一时间只有一个进程在跑计算，但所有并行启动的进程都会预分配并占用显存资源——每个进程启动时会初始化CUDA上下文、预分配模型和张量所需的显存空间，10个进程的总占用量直接撑爆了VRAM，这就是单进程/少量进程没问题、达到10个就报错的原因。

• 单进程显存限制失效的原因：你用的单进程显存限制方案属于软约束，无法覆盖所有显存占用场景：

  • cuDNN初始化上下文、算法缓存等系统级显存占用不受该限制管控，10个进程的这类内存累加后很容易超标；
  • 进程运行中临时生成的中间张量、反向传播的梯度张量等，可能突破预设的内存比例限制。

• 无MPS仍报错的原因：MPS只是NVIDIA优化多进程GPU共享的工具，哪怕不用MPS，Linux下每个PyTorch进程都会独立创建CUDA上下文并占用独立显存空间，这些上下文的显存占用是叠加的。MPS的作用是让显存复用更高效，但本质上多进程的总显存占用阈值还是由GPU总容量决定，所以不用MPS也会触发显存耗尽。

• 可行的解决方向：

  • 进一步压缩单进程显存：启用torch.cuda.amp自动混合精度训练，用更小的batch size，定时调用torch.cuda.empty_cache()释放无用显存，甚至尝试模型量化（torch.ao.quantization）；
  • 合理控制并发数：根据GPU总显存和单进程实际显存占用，计算最大并发进程数（比如16G显存，单进程占1.5G的话，最多跑9-10个，还要留2G左右给系统和CUDA上下文）；
  • 改用更高效的并行工具：用torch.multiprocessing替代bash并行，它能更灵活地管理显存共享；如果是集群环境，用SLURM等调度工具做显存隔离。

内容的提问来源于stack exchange，提问作者muser