Kaggle中PyTorch模型训练时CPU满负荷GPU闲置问题排查

核心问题 #

你遇到的CPU占用率100%、GPU使用率为0（调整图像尺寸后转为周期性波动）的核心原因是数据预处理与加载的速度跟不上GPU的计算节奏，导致GPU大部分时间处于等待数据的空闲状态，而CPU被数据加载、图像增强等操作完全占满。

具体原因分析 #

• 初始训练时图像尺寸可能过大，图像增强（裁剪、翻转、归一化等）的CPU计算量剧增，单线程处理完全占满CPU，GPU根本拿不到数据进行计算，所以使用率为0；
• 调整为256×256后，预处理耗时有所降低，GPU能拿到数据进行运算，但CPU仍需要时间准备下一批数据，因此GPU会出现“忙一阵、闲一阵”的周期性波动，本质还是CPU的数据处理速度拖了后腿。

针对性优化建议 #

• 启用DataLoader多进程加载：构建DataLoader时设置num_workers参数（比如根据CPU核心数设置为4、8等），让多个进程并行处理数据加载和增强，分摊CPU压力；
• 开启Pin Memory：设置pin_memory=True，让数据加载时直接锁定内存，加速CPU到GPU的数据传输；
• 优化图像增强流程：
  • 优先使用PyTorch内置的torchvision.transforms操作，这类操作经过性能优化，比自定义PIL操作更快；
  • 尝试将部分增强操作移到GPU执行，或者使用支持GPU加速的增强库；
  • 提前对数据集进行预处理并缓存到磁盘，避免每轮训练重复执行相同的增强操作；
• 调整batch size：在GPU显存允许的前提下适当增大batch size，让GPU每次处理更多数据，减少等待数据的相对时间；
• 验证设备一致性：确认evaluate_model函数中也将验证数据正确移到GPU，避免验证阶段的CPU瓶颈影响整体GPU使用率。

GPU波动情况示意图 #

内容的提问来源于stack exchange，提问作者Nirmal Sankalana