TensorFlow CPU端批量与单样本推理结果不一致问题咨询

直接触发逻辑 #

观测到的整数结果差1，本质是浮点级微小误差刚好落在四舍五入的整数边界上：模型输出的原始浮点值本身非常接近x.5的舍入阈值，两类推理模式下的极小计算误差就会导致最终round结果差1。

根本成因 #

• 浮点运算不满足严格结合律：TensorFlow CPU后端执行批量推理时，会自动拆分计算任务做多核并行，矩阵乘、激活值累加等操作的计算顺序，和单样本推理时的单任务计算顺序完全不同。32位浮点数的精度只有约7位有效数字，不同累加顺序会产生1e-6~1e-7级别的误差，绝大多数场景下这个误差不会影响结果，但刚好卡在舍入边界时就会出现整数位差异。
• 计算路径的指令集优化差异：针对不同输入批量大小，TensorFlow会调用不同的CPU指令实现：批量推理时会调用AVX/AVX2等向量化指令一次处理多个数值，单样本推理时走标量计算分支，两类实现的浮点舍入逻辑存在固有微小差异，和是否启用GPU无关。
• 误差触发的随机性：只有当模型原始输出值距离整数舍入边界小于浮点误差量级时，才会出现结果不一致的情况，大部分样本的输出离边界足够远，不会触发这类差异，因此表现为偶发、随机出现。

相关说明 #

环境中安装的CuDNN不会影响CPU计算路径，设置CUDA_VISIBLE_DEVICES = "-1"仅禁用GPU设备，不会关闭CPU侧的多线程并行、向量化优化，因此无法消除这类固有浮点误差。

验证与复现确认 #

去掉np.round逻辑直接打印原始输出值，即可观测到两类推理的差值在浮点误差量级：

# 打印原始输出差值，不要做round和类型转换
pred_all_raw = self.network.predict(warm_up, verbose=0).flatten() * raw_data_std + raw_data_mean
pred_single_raw = self.network.predict(warm_up[121, :], verbose=0).flatten() * raw_data_std + raw_data_mean
print("原始值差值：", pred_all_raw[121] - pred_single_raw[0])

如果需要强制两类推理结果完全一致，可以在导入TensorFlow前配置全局单线程运行，关闭并行计算带来的顺序差异，但会明显降低推理速度：

import os
os.environ["TF_NUM_INTEROP_THREADS"] = "1"
os.environ["TF_NUM_INTRAOP_THREADS"] = "1"
# 上述配置必须在导入tensorflow前设置才会生效
import tensorflow as tf

内容的提问来源于stack exchange，提问作者graille