多GPU环境下独立运行单卡train.py训练速度不均问题如何解决？

问题排查步骤 #

• 先执行nvidia-smi确认4个训练进程分别绑定到了0/1/2/3号GPU，无多进程挤在同一张卡的情况，同时检查各卡显存占用、GPU利用率差值是否超过10%。
• 打印每个任务启动后的可用GPU数量：PyTorch下加print(torch.cuda.device_count())，TensorFlow下加print(len(tf.config.list_physical_devices('GPU')))，确认返回值为1，排除代码默认强制启用多卡训练的问题。

修复方案 #

• 绑定CPU核心避免资源争抢：深度学习框架默认会调用所有CPU核心做数据预处理，4个任务同时抢占CPU会导致数据加载速度差异极大。启动命令前加入taskset绑定独立CPU核心区间，例如总CPU核心为32时，4个任务的启动命令分别修改为：

  taskset -c 0-7 CUDA_VISIBLE_DEVICES=0 python train.py
  taskset -c 8-15 CUDA_VISIBLE_DEVICES=1 python train.py
  taskset -c 16-23 CUDA_VISIBLE_DEVICES=2 python train.py
  taskset -c 24-31 CUDA_VISIBLE_DEVICES=3 python train.py
  

• 调低数据加载并行度：修改train.py中Dataloader的num_workers参数，每个任务的num_workers设置为绑定CPU核心数的一半，同时调低prefetch_factor到2~4，减少预加载数据对内存、IO资源的占用。
• 避免IO阻塞：如果训练数据集存放在同一块机械硬盘，可将4份数据分别存到不同SSD分区，或者每个任务间隔3~5分钟启动，优先完成数据预加载到内存后再启动下一个任务。
• 禁用跨卡通信开销：启动命令中加入CUDA_DISABLE_P2P=1环境变量，关闭不同GPU进程间的P2P通信，避免不必要的PCIe带宽占用。

内容的提问来源于stack exchange，提问作者inho park