ResNet始终预测单一类别求助：基于Places-205子集的迁移学习

我来帮你排查这个问题，结合你的迁移学习设置，ResNet50只输出单一类别大概率是以下几个常见原因导致的，咱们一步步来解决：

1. 先排查数据集与标签问题 #

• 类别不平衡：先统计你27类子集的样本分布，如果某一类样本占比远超其他类（比如超过70%），模型会偷懒直接预测这个高频类来降低损失。
  • 解决方案：
    • 在model.fit()中传入class_weight参数，给少数类更高的权重，比如用sklearn.utils.class_weight.compute_class_weight()生成权重；
    • 对少数类做过采样，或者对多数类做欠采样；
    • 给少数类增加数据增强（比如旋转、翻转等）来扩充样本。
• 标签加载错误：检查数据生成器（比如ImageDataGenerator）是否正确读取了标签，有没有出现所有样本标签都被映射到同一类的情况（比如文件夹命名错误、标签文件格式问题）。

2. 调整ResNet50的顶部网络结构 #

你当前用的是Flatten + Dense的简单结构，ResNet50的Flatten层输出维度非常大（比如7x7x2048=100352），直接接分类层很容易过拟合，或者学习能力不足。

• 优化方案：

# 重构ResNet的顶部分类器
x = base_model.output
x = tf.keras.layers.Flatten()(x)
x = tf.keras.layers.Dropout(0.5)(x)  # 加入Dropout抑制过拟合
x = tf.keras.layers.Dense(512, activation='relu')(x)  # 增加中间全连接层，提升特征映射能力
x = tf.keras.layers.BatchNormalization()(x)  # 加入BN层稳定训练
predictions = tf.keras.layers.Dense(27, activation='softmax')(x)
model = tf.keras.models.Model(inputs=base_model.input, outputs=predictions)

3. 检查预训练层的冻结与微调策略 #

如果直接冻结所有预训练层，仅训练顶部分类器，可能因为预训练特征和你的目标数据集差异较大，导致分类器无法学到有效特征。

• 正确的迁移学习步骤：
  1. 先冻结预训练层，训练顶部分类器：

     base_model.trainable = False
     model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=1e-4),
                   loss=tf.keras.losses.CategoricalCrossentropy(),
                   metrics=['accuracy'])
     model.fit(train_data, epochs=10)
     

  2. 解冻部分顶层卷积层，微调模型：

     base_model.trainable = True
     # 解冻ResNet50的最后3个卷积块（根据实际情况调整层数）
     fine_tune_layer = 140
     for layer in base_model.layers[:fine_tune_layer]:
         layer.trainable = False
     # 用极小的学习率微调，避免破坏预训练特征
     model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=1e-5),
                   loss=tf.keras.losses.CategoricalCrossentropy(),
                   metrics=['accuracy'])
     model.fit(train_data, epochs=20, initial_epoch=10)
     

4. 确保预处理与模型匹配 #

ResNet50的预训练模型要求特定的输入预处理，如果你误用了Inception或DenseNet的预处理函数，会导致特征提取异常：

• 正确的预处理方式：

train_datagen = tf.keras.preprocessing.image.ImageDataGenerator(
    preprocessing_function=tf.keras.applications.resnet.preprocess_input,
    rotation_range=20,
    width_shift_range=0.2,
    height_shift_range=0.2,
    horizontal_flip=True
)

5. 检查损失函数与激活函数的匹配 #

• 如果你的标签是one-hot编码，分类层用softmax激活，损失函数要选CategoricalCrossentropy；
• 如果是整数标签，分类层用softmax或不用激活（from_logits=True），损失函数选SparseCategoricalCrossentropy；
• 不匹配会导致模型训练梯度异常，最终收敛到单一类别。

先从数据和标签排查起，再逐步调整模型结构和训练策略，应该能解决这个问题。

内容的提问来源于stack exchange，提问作者Ciprian Andrei Focsaneanu