Keras中基于ImageNet权重重训InceptionV3的自定义瓶颈问题

嗨，我之前刚好碰到过这个问题！其实你踩的坑是因为对include_top和classes参数的作用理解有点偏差，咱们一步步来搞定：

为什么会报错？ #

当你设置weights='imagenet'时，Keras提供的预训练权重是针对ImageNet的1000分类任务训练的：

• 如果include_top=True（默认值），模型会包含顶层的1000类全连接分类层，这时候强制要求classes=1000，否则权重和模型结构不匹配，必然报错。
• 但你已经用了include_top=False，这时候原模型的顶层分类层已经被移除了，classes参数完全是多余的——预训练权重只包含特征提取部分，和类别数根本没关系，所以你完全不需要指定它！

正确的实现步骤 #

下面是适配自定义类别的完整代码流程：

1. 加载不带顶层的预训练基础模型
   不需要指定classes参数，因为顶层已经被去掉了：

   from tensorflow.keras.applications import InceptionV3
   from tensorflow.keras.layers import Dense, GlobalAveragePooling2D
   from tensorflow.keras.models import Model
   
   # 加载InceptionV3特征提取部分，用ImageNet预训练权重
   base_model = InceptionV3(include_top=False, weights='imagenet', input_shape=(299, 299, 3))
   

   注：input_shape可以根据你的数据集调整，但InceptionV3默认输入尺寸是299x299x3。

2. 添加自定义分类顶层
   在基础模型的输出上搭建适配你任务的分类层，比如你的自定义类别数是20：

   # 取基础模型的输出特征
   x = base_model.output
   # 全局平均池化，把特征图转换成一维向量
   x = GlobalAveragePooling2D()(x)
   # 可选：添加一个全连接层提升模型容量
   x = Dense(1024, activation='relu')(x)
   # 最后添加自定义类别的输出层，激活函数根据任务选（比如多分类用softmax）
   predictions = Dense(20, activation='softmax')(x)
   
   # 构建完整的训练模型
   model = Model(inputs=base_model.input, outputs=predictions)
   

3. 冻结与训练策略

   • 如果你的自定义数据集很小，建议先冻结所有预训练层，只训练新增的顶层：

     # 冻结基础模型的所有层
     for layer in base_model.layers:
         layer.trainable = False
     
     # 编译模型
     model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
     
     # 用你的自定义数据集训练顶层
     # model.fit(train_data, train_labels, epochs=10, validation_data=(val_data, val_labels))
     

   • 如果数据集足够大，想要微调基础模型提升性能，可以在训练完顶层后，解冻部分预训练层继续训练（注意用更小的学习率）：

     # 解冻基础模型的最后20层（可根据需求调整层数）
     for layer in base_model.layers[-20:]:
         layer.trainable = True
     
     # 重新编译，用小学习率避免破坏预训练权重
     model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=1e-5), 
                   loss='categorical_crossentropy', 
                   metrics=['accuracy'])
     
     # 继续微调训练
     # model.fit(train_data, train_labels, epochs=20, validation_data=(val_data, val_labels))
     

总结 #

核心就是：当使用include_top=False加载预训练模型时，完全不需要指定classes参数，预训练的特征提取层和类别数无关，你只需要在自己添加的顶层里设置自定义类别数就可以完美适配任务啦！

内容的提问来源于stack exchange，提问作者Carlos