PyTorch中nn.Linear部分输出结果不一致的原因咨询

在PyTorch中执行FP32精度的nn.Linear操作时，出现部分计算结果不一致的情况（信噪比不为无穷大）。测试代码如下：

test = nn.Linear(1440, 1440, bias=False)
hidden1 = torch.randn(400, 1440, dtype=torch.float32)
hidden2 = hidden1[:100, :]
output1 = test(hidden1)
output2 = test(hidden2)

测试后发现，output1的前100行本应与output2完全相同，但二者存在细微差异，这与普通matmul计算的预期不符，想请教该现象的原因。

分析与解答 #

这种差异的核心原因是FP32浮点运算的非确定性，具体来自以下几个方面：

• PyTorch在启用CUDA或CPU优化（如MKL）时，会调用底层并行计算库（如cuBLAS、MKL）。这些库为了提升性能，会根据输入矩阵的规模（比如batch大小400 vs 100）选择不同的计算顺序、分块策略或并行调度方式。而FP32的精度有限，浮点累加顺序的变化会引入微小的舍入误差，最终导致结果出现差异。
• nn.Linear在bias=False时本质是执行X @ weight.T的矩阵乘法。当输入的batch维度不同时，底层矩阵乘法的实现会触发不同的优化路径：比如大batch会分配更多线程块，或采用不同的分块大小，这会改变浮点运算的执行顺序，进而产生舍入偏差。
• 部分GPU的Tensor Core或CPU的向量指令，在处理不同规模的矩阵时，可能会采用隐式的精度优化逻辑（即使你指定了FP32，底层也可能存在临时的精度转换或特殊指令），这也会导致结果出现细微差异。

如果需要强制得到确定性的结果，可以通过设置torch.use_deterministic_algorithms(True)来启用确定性算法，此时再运行测试代码，output1的前100行和output2会完全一致，但会牺牲一定的计算性能。

内容的提问来源于stack exchange，提问作者eve