多分类图像CNN模型损失与准确率停滞问题求助

我正在开发用于多分类图像分类的CNN模型，但训练过程中损失值（loss）与准确率（accuracy）均出现停滞，数值几乎保持不变。已尝试更换Adam、SGD、RMSprop等优化器，调整学习率及网络层结构，但结果仍类似。期望实现损失下降、准确率提升，不再出现停滞现象。

输入数据 #

(X_train.shape, X_test.shape, y_train.shape, y_test.shape)
(24296, 32, 32, 1) (6075, 32, 32, 1) (24296, 6) (6075, 6)

CNN代码 #

Model定义 #

model = Sequential()
model.add(Conv2D(16, (2,2), activation = 'relu', input_shape = (32,32,1)))
model.add(MaxPooling2D((2,2)))
model.add(Conv2D(32, (2,2), activation = 'relu'))
model.add(MaxPooling2D((2,2)))
model.add(Conv2D(64, (2,2), activation = 'relu'))
model.add(MaxPooling2D((2,2)))
model.add(Conv2D(128, (2,2), activation = 'relu')) 
model.add(MaxPooling2D((2,2)))
model.add(Flatten())
model.add(Dense(100, activation = 'relu'))
model.add(Dense(6, activation = 'softmax'))

编译配置 #

model.compile(loss = 'categorical_crossentropy',
              optimizer = optimizers.RMSprop(learning_rate=0.001),
              metrics = ['accuracy'])

训练设置 #

es = EarlyStopping(patience = 5, verbose=2)
history = model.fit(X_train, y_train,
                    validation_split = 0.2,
                    callbacks=[es],
                    epochs=100,
                    batch_size=64)

问题排查与优化建议 #

1. 输入数据基础检查 #

• 缺失归一化处理：灰度图像像素值通常在0-255区间，直接输入会导致模型梯度震荡、收敛困难。必须先做归一化：

  X_train = X_train.astype('float32') / 255.0
  X_test = X_test.astype('float32') / 255.0
  

• 标签格式匹配：确认y_train/y_test是否为one-hot编码（与categorical_crossentropy要求匹配）。如果是整数标签，需改用sparse_categorical_crossentropy作为损失函数。
• 类别分布验证：检查训练集各类别样本占比。若某类占比极高，模型会倾向于预测该类，导致准确率停滞在随机水平（6分类随机准确率约16.7%）。

2. 网络结构优化 #

• 特征过度压缩问题：32x32的输入经过4次Conv(2,2)+MaxPool(2,2)后，最终特征图仅2x2，大量细节信息丢失。建议：
  • 移除最后一层MaxPooling2D，或把部分池化层步长改为1，保留更多特征维度。
  • 将卷积核尺寸从(2,2)改为(3,3)，提升特征提取的覆盖范围。
• 全连接层瓶颈：Flatten后特征数为128*2*2=512，后续仅100个神经元的Dense层会造成信息损耗。可调整为：

  model.add(Flatten())
  model.add(Dense(256, activation='relu'))
  model.add(Dropout(0.5))  # 添加Dropout抑制过拟合
  model.add(Dense(6, activation='softmax'))
  

3. 训练策略调整 #

• 学习率精细化控制：尝试更小的初始学习率（如1e-4），或添加学习率调度器，在验证损失停滞时自动降速：

  from tensorflow.keras.callbacks import ReduceLROnPlateau
  rlp = ReduceLROnPlateau(monitor='val_loss', factor=0.5, patience=3, verbose=1)
  history = model.fit(..., callbacks=[es, rlp])
  

• 批次大小调整：当前batch_size=64，可尝试减小到32或增大到128，观察训练稳定性变化。
• 添加正则化：给卷积层和全连接层加L2正则化，防止权重过大导致的收敛停滞：

  from tensorflow.keras import regularizers
  model.add(Conv2D(16, (2,2), activation='relu', input_shape=(32,32,1), kernel_regularizer=regularizers.l2(1e-4)))
  

4. 其他验证点 #

• 模型输出验证：训练前输入一批随机数据，检查softmax输出是否符合概率分布（总和为1），确认模型结构无逻辑错误。
• 硬件环境确认：若有GPU资源，确保训练时已启用GPU加速，CPU训练可能收敛缓慢，但不会直接导致完全停滞。

内容的提问来源于stack exchange，提问作者Xiaohu Jiang