TensorFlow Keras GPU推理时不同batch size输出结果不一致问题咨询

你观测到的1e-6量级的推理差值属于GPU浮点运算的正常误差，不是模型或代码逻辑错误，具体原因如下：

• GPU底层计算算子会随输入批次大小适配不同的并行策略：Conv2D、Dense这类线性计算算子运行时，会根据输入的批次维度自动调整分块大小、线程排布、运算顺序，而32位浮点数（float32）的加法、乘法不满足严格结合律，不同运算顺序产生的舍入误差存在差异，经过多层网络叠加后就会形成可观测的累计误差。
• 同批次输入两次推理结果完全一致是正常现象：当输入shape固定时，TensorFlow会固定调用预先编译好的同一个计算内核，运算顺序完全不变，两次推理的舍入误差也完全相同，所以最终输出不会有差值。

验证与优化建议 #

• 可以强制模型在CPU上运行，或者将TensorFlow全局浮点精度设置为float64后重新测试，误差会大幅降低甚至完全消失，即可验证误差来源为GPU浮点舍入差异。
• 该量级的误差远低于常规判别任务的输出阈值，不会影响模型实际推理效果，无需特殊处理。如果对输出一致性有强需求，可以固定每次推理的输入批次大小，或者开启TensorFlow的确定性运算配置。

测试复现代码 #

import numpy as np
import tensorflow as tf
from tensorflow.keras import layers    

def make_discriminator_model():
    model = tf.keras.Sequential()
    model.add(layers.Conv2D(64, (5, 5), strides=(2, 2), padding='same',input_shape=[28, 28, 1]))
    model.add(layers.LeakyReLU())
    model.add(layers.Dropout(0.3))
    model.add(layers.Conv2D(128, (5, 5), strides=(2, 2), padding='same'))
    model.add(layers.LeakyReLU())
    model.add(layers.Dropout(0.3))
    model.add(layers.Conv2D(128, (5, 5), strides=(2, 2), padding='same'))
    model.add(layers.LeakyReLU())
    model.add(layers.Dropout(0.3))
    model.add(layers.Flatten())
    model.add(layers.Dense(1))
    return model

# 测试逻辑
# images.shape=(128,28,28,1)
discriminator=make_discriminator_model()
Dlogits1=discriminator(images[:64], training=False)
Dlogits2=discriminator(images, training=False)
delta=np.sum(Dlogits1-Dlogits2[:64])  # delta=-1.2e-6
Dlogits3=discriminator(images, training=False)
delta3=np.sum(Dlogits3-Dlogits2) # delta3=0

内容的提问来源于stack exchange，提问作者The Puternerd