Keras微调VGG16训练遇多类报错：真值歧义、标签格式与维度不匹配求解

项目基础信息 #

• 项目目标：基于VGG16预训练权重实现图像分类迁移学习（适配VGG19类结构的微调需求）
• 数据集规模：训练集共35990张图像，测试集共3720张图像
• 输入数据数组形状：训练集train1_data:(35990,224,224,3)，测试集test1_data:(3720,224,224,3)
• 原数据准备流程：基于OpenCV读取各分类目录下的图像，设置IMG_SIZE=32对图像做resize，定义HSV颜色空间上下阈值minRange、maxRange做图像过滤，将图像转float32类型后除以255完成归一化，将对应类别的索引转为字符串存入标签列表

已完成的核心实现逻辑 #

模型搭建环节 #

• 加载带ImageNet预训练权重、不含全连接顶层的VGG16主干，指定输入形状为(224,224,3)
• 冻结VGG16前15层的权重参数，逐行打印各层名称与可训练状态
• 在VGG16输出端依次串联网络层：Flatten层 → 512单元ReLU激活的Dense层 → 失活率0.5的Dropout层 → 264单元ReLU激活的Dense层 → 372单元softmax激活的Dense输出层，完成整体迁移学习模型组装

训练配置环节 #

• 配置两类训练回调：
  • ReduceLROnPlateau：监控指标为val_accuracy，学习率衰减系数0.6，耐心值8，最小学习率5e-5
  • ModelCheckpoint：监控指标为val_accuracy，仅保存验证集表现最优的模型权重
• 训练超参数配置：采用Adam优化器，初始学习率设为5e-5，损失函数选用categorical_crossentropy，评估指标为accuracy

连续报错的根因拆解 #

按触发顺序逐一说明如下：

1. 首次报错：ValueError: The truth value of an array with more than one element is ambiguous. Use a.any() or a.all()
   • 报错定位：Keras引擎校验验证数据的环节
   • 根因：调用fit方法时直接传入测试集numpy数组作为validation_data参数，未按要求构造包含图像和标签的验证集元组结构，引擎在判断参数真值时无法对多元素numpy数组执行布尔判断，直接触发异常
2. 第二次报错：AttributeError: 'str' object has no attribute 'ndim'
   • 触发场景：初次修复时补充传入训练标签，将验证集调整为(test1_data, label1)元组结构后触发
   • 根因：数据准备阶段将类别索引转为字符串格式存入标签列表，Keras的输入张量校验逻辑会直接读取数组的ndim维度属性，字符串类型数据不具备该属性，因此触发属性错误
3. 第三次报错：ValueError: Error when checking target: expected dense_10 to have 4 dimensions, but got array with shape (35990, 1)
   • 参考信息：模型最终分类头输出维度为372维，对应372个分类类别
   • 根因：标签格式与损失函数要求不匹配。模型采用categorical_crossentropy损失时，要求标签为one-hot编码格式，形状与输出层维度对齐；但当前标签仅为形状(35990,1)的整数类别索引列，维度完全不匹配

完整修复方案 #

• 规范fit方法的入参结构
  • 训练集入参按(训练图像数组, 训练标签数组)的二元组格式传入
  • 验证集入参按(验证图像数组, 验证标签数组)的二元组格式传入，禁止直接将单组图像numpy数组作为验证集参数
• 修正标签的类型与格式
  • 移除原数据准备流程中将类别索引转为字符串的逻辑，将整数形式的类别索引存储为numpy数组类型
  • 若继续使用categorical_crossentropy损失函数，需要调用keras.utils.to_categorical将整数类别索引转换为one-hot编码，最终训练标签形状为(35990, 372)、测试标签形状为(3720, 372)，与输出层维度完全对齐
  • 若希望减少one-hot转换的计算开销，可将损失函数替换为sparse_categorical_crossentropy，直接传入整数类别索引格式的标签即可完成训练
• 对齐预处理流程与模型输入要求
  • 移除原流程中IMG_SIZE=32的resize逻辑，统一将所有输入图像resize为224*224尺寸，与VGG16主干的输入形状匹配
  • 移除与VGG16预训练逻辑不匹配的自定义HSV阈值过滤环节，按照ImageNet预训练的标准规则完成输入标准化，保障预训练权重的迁移效果
• 启动训练前增加形状校验
  • 逐一对齐所有输入张量的形状：训练图像(35990,224,224,3)、训练标签(35990,372)、测试图像(3720,224,224,3)、测试标签(3720,372)，确认形状完全匹配后再启动训练

内容的提问来源于stack exchange，提问作者Aanand Rathore