为何设置model.eval()后PyTorch GPU推理仍存在非确定性？

这个现象属于PyTorch+CUDA技术栈下完全符合框架预期的正常行为，和模型权重加载正确性无关——你收到的All keys matched successfully提示已经证明权重加载流程无异常，不存在漏加载导致的随机初始化参数。

需要明确：model.eval()的作用边界非常有限，仅会关闭训练阶段专属的随机逻辑，比如Dropout的随机置零、归一化层训练态下的批次统计量波动，它不会干预CUDA底层算子的执行策略，因此无法单独保证推理结果比特级一致。

随机性本质来自GPU并行计算默认的速度优先设计，和模型本身的权重无关，核心来源分为两类：

• 通用CUDA计算核的非确定性执行：Transformer推理过程中高频调用的矩阵乘法、注意力分数计算、Softmax等算子，在cuDNN、Tensor Core的默认实现中会采用并行规约、原子加法等性能优化。不同次运行时GPU的线程调度顺序、浮点数累加顺序会存在微小差异，由于浮点数计算不满足严格结合律，累加顺序变化会带来1e-5~1e-7量级的数值偏差，多层累积后就会体现为输出结果的微小差异。
• CUDA全局随机状态的隐式调用：部分CUDA算子的内部路径选择、线程块调度逻辑会依赖CUDA运行时维护的全局随机状态池。如果不手动调用torch.cuda.manual_seed_all()固定种子，每次进程启动时这个状态池的初始值是随机生成的，会进一步放大执行路径的差异。

你观察到的“传入任意固定种子都能得到确定性输出”的表现，正好匹配这个机制：固定CUDA种子后，全局随机状态被锁定，依赖该状态的算子调度路径完全一致，浮点数累加顺序固定后输出自然稳定。

如果需要追求比特级完全可复现的推理结果，仅固定CUDA种子还不够，需要额外关闭所有非确定性算子优化，在推理执行前添加如下代码：

torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False
torch.use_deterministic_algorithms(True, warn_only=True)

开启上述配置后，推理速度会出现10%~30%不等的下降，属于用性能交换可复现性的正常权衡。如果你的业务场景对微小数值偏差不敏感（比如常规分类、信息抽取任务，1e-5量级的偏差不会改变最终预测结果），完全不需要特意修改配置，默认的非确定性执行是框架推荐的最优性能选择。

注：如果多次推理的输出差异远大于1e-5量级，甚至出现预测类别翻转、生成内容完全不一致的情况，才属于代码逻辑错误，需要排查是否未正确切换eval模式、权重加载遗漏、输入预处理逻辑存在随机分支等问题。

内容的提问来源于stack exchange，提问作者andrea