基于ImageNet预训练的EfficientNetB0微调后性能无法复现

问题背景 #

基于ImageNet预训练的EfficientNetB0在自定义数据集微调后，遇到以下异常：

• 用model.save()保存为.keras格式，后续加载后模型性能与训练阶段完全不符，结果随机
• 已设置tf.random.set_seed(42)和np.random.seed(42)，仍无法复现稳定结果
• 同会话内加载.h5格式权重性能正常，但跨会话加载就出现随机准确率
• 不加载预训练权重（weights=None）时，跨会话性能可稳定复现
• ResNet50、VGG16等其他CNN模型无此异常，仅EfficientNetBx系列存在该问题，TensorFlow 2.16.1/2.17.0版本均出现该现象

原因分析 #

EfficientNetBx的层实现（比如Swish激活、Squeeze-and-Excitation模块）和其他CNN模型存在差异，其序列化/反序列化逻辑在跨会话场景下，无法正确对齐预训练权重与自定义微调层的参数状态。直接用load_model()加载完整模型时，预训练模型的初始化逻辑没有被完整复现，导致参数出现偏差。

解决方案 #

方案1：先构建模型结构再加载权重（推荐） #

不要直接加载完整模型，先完全复刻训练时的模型结构（包括加载预训练权重），再加载微调后的权重：

# 加载阶段代码
import tensorflow as tf
import numpy as np
from tensorflow.keras.applications import EfficientNetB0
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Dense, GlobalAveragePooling2D

# 必须重新设置随机种子
tf.random.set_seed(42)
np.random.seed(42)

# 1. 复刻训练时的模型结构，和训练代码完全一致
base_model = EfficientNetB0(weights='imagenet', include_top=False, input_shape=(224, 224, 3))
x = base_model.output
x = GlobalAveragePooling2D()(x)
x = Dense(1024, activation='relu')(x)
predictions = Dense(10, activation='softmax')(x)
loaded_model = Model(inputs=base_model.input, outputs=predictions)

# 2. 加载微调后的权重（训练时用model.save_weights('fine_tuned_weights.h5')保存）
loaded_model.load_weights('fine_tuned_weights.h5')

# 3. 用和训练时完全一致的参数编译模型
loaded_model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])

# 4. 评估性能
results = loaded_model.evaluate(x_test, y_test)

方案2：改用SavedModel格式保存加载 #

替换.keras或.h5格式，使用TensorFlow原生的SavedModel格式，它对EfficientNet的序列化支持更完善：

# 训练时保存模型
model.save('fine_tuned_model_savedmodel')

# 后续加载模型
loaded_model = tf.keras.models.load_model('fine_tuned_model_savedmodel')

# 直接评估，无需额外编译
results = loaded_model.evaluate(x_test, y_test)

额外提示 #

• 训练代码里的损失函数和输出层不匹配：用了binary_crossentropy但输出是softmax（多分类场景），建议改成categorical_crossentropy（标签为独热编码）或sparse_categorical_crossentropy（标签为整数），这会影响模型训练的稳定性。
• 确保训练和加载时的TensorFlow版本完全一致，版本差异也可能导致序列化异常。

内容的提问来源于stack exchange，提问作者Qasim