PyTorch中GPU与CPU训练模型结果存在轻微差异的原因

哪怕代码逻辑完全正确、固定了所有随机种子，PyTorch在CUDA后端和CPU后端跑出有差异的损失、指标值都是正常的，核心原因来自硬件和底层实现的天然差异，和你使用的PyTorch、CUDA10.1版本没有特殊关联：

• 浮点计算的天然误差：浮点数运算不满足严格的结合律，CPU和GPU的计算并行度、算子实现的累加顺序完全不同。GPU为了提升吞吐量会把大矩阵拆分到多个计算核心并行计算，最后再合并结果，累加顺序和CPU端的实现差异会带来微小的截断误差，训练过程中误差经过多轮迭代逐步放大，最终就会体现在损失和指标上。
• 底层算子的实现选择差异：CUDA侧调用的cuDNN算子默认会优先选择速度更快的实现，比如部分卷积、池化算子会用Winograd等近似算法，数值精度和CPU侧优先保证一致性的实现有细微区别；部分算子在GPU上的舍入规则也和CPU不完全对齐。
• 随机数生成器不互通：PyTorch的CPU随机数生成器和CUDA随机数生成器是独立实现的，即便调用torch.manual_seed()固定了全局种子，两端生成的随机数序列也不会完全一致，参数初始化、Dropout、数据增强等带随机逻辑的环节从训练初始就会产生差异。

如果两端结果差异极大（比如损失差出一个数量级、CPU正常收敛GPU直接训崩/不收敛），可以按以下顺序排查：

• 检查设备迁移逻辑：确认模型、输入张量、损失函数、自定义可学习参数全部调用.to(device)迁移到对应设备，避免出现部分张量留在CPU、计算时频繁跨设备拷贝的隐式错误。
• 检查数值稳定性：GPU上的微小数值误差更容易触发非稳定算子的问题，比如未加epsilon的除法、exp运算溢出、log(0)这类场景，CPU端可能因为数值刚好没触发异常，GPU端就会出现异常值，可以把对应逻辑替换为带数值稳定保护的官方API实现。
• 检查CUDA配置：如果需要尽可能压缩两端差异，可以手动开启确定性计算模式，执行以下代码：

torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False
torch.use_deterministic_algorithms(True)

注意开启后训练速度会明显下降，且无法做到和CPU结果100%完全一致，仅能将差异控制在极小范围内。

• 排查混合精度逻辑：如果开启了AMP自动混合精度训练，检查梯度缩放参数是否合理，有没有出现梯度下溢、上溢的问题，CPU端默认全FP32运算不会触发这类问题。

正常范围内的小幅差异（比如损失值仅在小数点后3-4位有区别、最终评估指标差距在1%以内）不需要额外修正，属于不同硬件后端的正常表现，不会影响模型的实际落地效果。

内容的提问来源于stack exchange，提问作者Janosch