同一DNN程序在GTX980与P4 GPU上运行结果精度不一致的问题

这种GPU间的结果精度差异在DNN运行场景里其实挺常见的，我来帮你梳理下背后的原因和可行的解决办法：

• GPU架构的浮点计算差异
  GTX980基于Maxwell架构，而P4是Pascal架构，二者的浮点计算单元设计有区别。Pascal架构针对高性能计算做了不少优化，比如部分累加操作采用了更高效但精度略有妥协的实现，这会导致多次运行时产生微小的浮点误差累积。
• cuDNN的非确定性算法选择
  不同GPU架构下，cuDNN（NVIDIA的深度学习加速库）会自动选择适配硬件的最优算法。有些算法为了追求速度，使用了并行归约、原子操作或者动态线程调度，这些操作的执行顺序在多次运行中可能存在细微差异，进而导致结果的微小精度波动——这是很多DNN框架默认的“性能优先”策略带来的副作用。
• 浮点运算的固有特性
  浮点计算本身就存在精度限制，当大量运算叠加时，不同的计算顺序（比如并行线程的执行顺序差异）会让最终结果出现微小偏差。P4的并行计算能力更强，这种顺序差异带来的影响会比GTX980更明显。

针对这个问题，你可以通过以下步骤来让P4上的运行结果变得确定：

• 强制启用确定性算法
  在DNN框架中配置cuDNN使用确定性算法，关闭“快速算法”选项。比如在PyTorch中可以这样设置：

  import torch
  torch.backends.cudnn.deterministic = True
  torch.backends.cudnn.benchmark = False
  

  如果用TensorFlow，则可以开启操作确定性：

  import tensorflow as tf
  tf.config.experimental.enable_op_determinism()
  

• 固定所有随机种子
  如果你的DNN中包含随机操作（比如dropout、随机初始化等），一定要固定全局的随机种子，包括Python、NumPy、CUDA以及框架自身的种子。示例代码如下：

  # Python全局种子
  import random
  random.seed(42)
  # NumPy种子
  import numpy as np
  np.random.seed(42)
  # PyTorch & CUDA种子
  import torch
  torch.manual_seed(42)
  torch.cuda.manual_seed_all(42)
  

• 检查并调整精度模式
  确认程序是否启用了混合精度（比如FP16），P4对FP16的支持更完善，但FP16本身精度更低，更容易放大误差。可以尝试强制使用FP32计算，看看精度差异是否消失。

按照上述方法调整后，再在P4上多次运行程序，应该就能得到和GTX980完全一致的结果了。

内容的提问来源于stack exchange，提问作者Kui Yan