指定单GPU仍多卡占用？排查PyTorch多GPU使用异常原因

• PyTorch启动时默认占用所有可见GPU的显存：PyTorch在初始化阶段会扫描所有系统可见的GPU，并为每个GPU分配少量显存用于设备初始化，哪怕你代码里指定了单个GPU。解决办法是启动脚本时通过环境变量限制可见GPU，比如CUDA_VISIBLE_DEVICES=你的gpu_id python 脚本名.py，这样进程只会识别到指定的GPU，不会触碰其他卡。
• 模型或张量未显式迁移到指定GPU：你只定义了device变量，但如果没有把模型、输入张量等显式移到这个设备上，PyTorch会默认使用cuda:0（如果系统可见多个GPU）。比如要执行model.to(device)，创建张量时指定device=device，确保所有计算相关的数据都在目标GPU上。
• 多进程场景下的GPU资源泄漏：如果代码中用了多进程（比如DataLoader的num_workers大于0），子进程可能会继承父进程的GPU可见性，甚至意外占用其他GPU的内存。这种情况要么通过CUDA_VISIBLE_DEVICES提前锁定GPU，要么在子进程初始化时重新指定设备。
• 第三方依赖的隐性GPU占用：部分第三方库（如某些数据增强、可视化工具）可能在后台独立使用GPU，没有遵循你指定的设备设置。需要检查这些库的配置，看是否有强制指定GPU的参数，或者禁用它们的GPU加速功能。

内容的提问来源于stack exchange，提问作者tarmas99