咨询硬件错误影响实验的相关报告及对实验的影响

作为一名经常折腾计算机视觉实验的开发者，最近我整理了一份排除硬件故障的实验复现问题清单——里面的问题大多都是我自己踩过的坑。先跟大家聊聊我对GPU训练中容易被忽略的隐性误差的思考：

典型的计算机视觉实验往往需要在GPU上连续运行数小时甚至数日的训练。哪怕按每$10^9$ FLOPs仅发生一次比特翻转的概率计算，Nvidia Titan GTX 1080 Ti每秒也会出现11500次错误。目前我还不确定这类底层的比特翻转错误会对模型训练结果产生怎样的具体影响，但这无疑是实验复现过程中容易被忽略的隐性变量之一。

核心问题清单 #

• 未固定全链路随机种子：包括Python全局随机种子、深度学习框架（如PyTorch/TensorFlow）的随机种子、数据加载器的worker种子，甚至是GPU运算中的随机操作（比如dropout、数据增强的随机变换），只要有一处没固定，结果就可能天差地别。
• 依赖版本不一致：尤其是深度学习框架的小版本差异（比如PyTorch 1.10和1.11在某些算子的实现上有细微差别）、CUDA/CuDNN版本不匹配，或者是第三方库（如OpenCV、PIL）的版本差异，都可能导致结果出现偏差。
• 数据预处理逻辑不一致：比如归一化的均值/标准差取值错误、数据增强的顺序颠倒（先裁剪还是先翻转）、不同平台下的图像解码差异（比如Windows和Linux下PIL处理PNG的细微差别）。
• 训练配置细节遗漏：比如学习率调度器的参数（如余弦退火的周期）、优化器的动量/权重衰减系数、多GPU训练时是否默认做了梯度平均，这些没写进文档的细节会直接导致复现失败。
• 日志与结果记录不完整：比如只记录了最终的准确率，没记录训练过程中的损失曲线、验证集的每一步结果，或者是训练中断后恢复时的checkpoint状态不完整。
• 环境变量差异：比如CUDA_VISIBLE_DEVICES的设置、框架专属的环境变量（如TF_ENABLE_ONEDNN_OPTS），这些会影响GPU的运算逻辑但很容易被忽略。

内容的提问来源于stack exchange，提问作者Martin Thoma