TensorFlow1.12升级到2.4后相同权重相同批次损失值不一致问题

1. BatchNormalization层训练模式行为差异 #

你代码中冻结了MobileNetV2的所有层（layer.trainable = False），但两个版本Keras对冻结状态下BN层的运行逻辑完全不同：

• Keras 2.2.4（对应TF1.12）：BN层设置trainable=False后，无论模型处于训练/推理模式，都会直接使用预训练好的滑动均值、滑动方差做归一化，且不会更新滑动统计量
• TF2.4集成的Keras：BN层设置trainable=False仅会冻结gamma、beta权重不更新，只要模型处于训练模式（model.fit()默认进入训练模式），仍会使用当前批次的均值、方差做归一化，同时持续更新滑动统计量
  这一差异会直接导致MobileNetV2的输出特征在两个版本中存在明显区别，是损失值差异的最可能来源。

2. 优化器默认参数实现差异 #

你代码中Adam优化器显式设置epsilon=None，两个版本的默认取值不同：

• Keras 2.2.4的Adam默认epsilon为1e-8
• TF2.4的tf.keras.optimizers.Adam默认epsilon为1e-7
  epsilon作为防止分母为0的极小值，会影响梯度更新的数值计算，第一次迭代的损失就会出现可观测的差异。

3. 损失函数与激活函数的融合实现差异 #

TF2中默认启用了softmax和categorical_crossentropy的融合算子，该算子在数值稳定性上做了优化，和TF1中分开计算softmax再算交叉熵的结果会存在微小的数值差异，多轮迭代后差异会逐步累积。

验证排查方案 #

• 先跳过训练步骤，直接用model.evaluate(x_train, y_train)在两个版本中做推理评估，如果损失值仍存在差异，即可确认是BN层前向传播逻辑的问题
• 显式给Adam优化器指定固定epsilon值（如epsilon=1e-8），消除参数默认值差异的影响
• TF2加载模型后，遍历所有BatchNormalization层，显式设置layer.trainable = False的同时，强制设置layer.training = False，对齐TF1的BN层行为

内容的提问来源于stack exchange，提问作者YuseqYaseq