TensorFlow同一验证集多次运行model.evaluate返回结果不一致问题

• 核心原因1：模型评估阶段EfficientNet仍处于训练模式。你调用baseline_model(data_augmentation, training=training_base_model)，若评估时training_base_model仍设为True，EfficientNet内部的BatchNormalization层会使用当前批次的统计值而非训练阶段累积的移动平均统计值，Dropout层也会继续随机失活神经元，直接导致每次评估结果随机波动，且精度远低于训练时的验证精度。
• 核心原因2：数据增强层硬编码在模型推理链路中。即使你给增强层传了training=False，仍存在逻辑隐患：验证/评估阶段不需要任何随机增强操作，该结构会增加不必要的计算开销，且你现有代码中RandomCrop行存在语法错误（缺少右括号），可能导致预处理逻辑不符合预期。
• 次要原因：未固定全局随机种子，TensorFlow底层的随机操作仍可能引入微小波动；权重加载时未加expect_partial()，可能存在部分变量（如优化器相关变量）不匹配导致的权重加载不全问题。
• 你将training_base_model设为False时精度极差的根因：你训练阶段对EfficientNet进行了微调，但权重保存/加载环节存在问题，导致EfficientNet的微调权重、BN层移动统计量未被正确覆盖，仍使用默认的ImageNet预训练权重，因此效果大幅下降。

1. 修正模型结构 #

• 拆分数据增强逻辑，仅在训练阶段启用：不要将随机增强层硬编码到通用模型结构中，改为通过tf.data pipeline仅对训练集做增强，验证/测试集直接加载原图；如果要保留层内增强，可新增参数控制增强链路是否启用，评估阶段直接跳过增强层。
• 修正RandomCrop行的语法错误：

  # 修正前（错误）
  data_augmentation = RandomCrop(width = input_shape[0], height = input_shape[1](data_augmentation, training=False)
  # 修正后（正确）
  data_augmentation = RandomCrop(width = input_shape[0], height = input_shape[1])(data_augmentation, training=False)
  

• 评估阶段强制将training_base_model设为False，确保EfficientNet切换到推理模式，关闭Dropout、启用BN移动统计量。

2. 修复权重加载逻辑 #

• 加载权重时添加expect_partial()，忽略优化器相关不匹配变量的警告，确保模型权重完整加载：

  if saved_model_path is not None: 
      model.load_weights(saved_model_path).expect_partial()
  

• 训练阶段保存权重时，建议使用全模型保存model.save()而非仅保存权重，加载时直接用tf.keras.models.load_model()，可完全复现模型结构和所有权重（包括BN层的移动统计量），避免结构不匹配导致的权重加载失败。

3. 固定全局随机种子 #

在代码开头添加以下内容，消除所有随机操作的波动：

import random
import numpy as np
import tensorflow as tf
SEED = 42
random.seed(SEED)
np.random.seed(SEED)
tf.random.set_seed(SEED)

4. 评估前显式切换推理模式 #

调用model.evaluate()前添加以下代码，强制模型进入推理模式：

model.trainable = False
# 可选：跑一次空推理，确保所有层状态切换完成
_ = model(tf.ones((1, *input_shape)), training=False)

内容的提问来源于stack exchange，提问作者Angel Luis