模型训练遇ValueError及SparseCategoricalCrossentropy低精度问题求助

一、CategoricalCrossentropy报错原因 #

报错核心是标签与模型输出维度不匹配：

• 模型最后一层输出为(None,19)（对应19个类别的概率分布），CategoricalCrossentropy要求标签必须是one-hot编码格式（形状应为(None,19)）
• 当前数据集加载后输出的标签是整数索引格式（形状(None,)），两者维度不一致，触发ValueError。

二、SparseCategoricalCrossentropy训练精度低（验证集精度为0）的解决步骤 #

1. 修正数据集加载逻辑 #

• 若Images是tf.keras.utils.image_dataset_from_directory，需添加归一化处理（像素值0-255会导致模型难以收敛）：

  train_data = tf.keras.utils.image_dataset_from_directory(
      train_dir,
      image_size=(150,150),
      batch_size=32,
      rescale=1./255  # 新增像素归一化
  )
  valid_data = tf.keras.utils.image_dataset_from_directory(
      test_dir,
      image_size=(150,150),
      batch_size=32,
      rescale=1./255
  )
  

• 不要直接用测试集当验证集：测试集用于最终评估，应从训练集中拆分验证集：

  train_data = train_data.shuffle(1000)
  val_size = int(len(train_data) * 0.2)
  valid_data = train_data.take(val_size)
  train_data = train_data.skip(val_size)
  

2. 检查并优化模型结构 #

• 确保最后一层输出维度与类别数一致：

  # 模型最后一层示例
  model.add(tf.keras.layers.Dense(19, activation='softmax'))
  

• 若模型过于简单，需增加卷积层提升特征提取能力，示例结构：

  model = tf.keras.Sequential([
      tf.keras.layers.Conv2D(32, (3,3), activation='relu', input_shape=(150,150,3)),
      tf.keras.layers.MaxPooling2D((2,2)),
      tf.keras.layers.Conv2D(64, (3,3), activation='relu'),
      tf.keras.layers.MaxPooling2D((2,2)),
      tf.keras.layers.Flatten(),
      tf.keras.layers.Dense(128, activation='relu'),
      tf.keras.layers.Dense(19, activation='softmax')
  ])
  

3. 调整训练参数 #

• 降低学习率：默认Adam学习率可能过高，尝试调整：

  optimizer = tf.keras.optimizers.Adam(learning_rate=1e-4)
  model.compile(optimizer=optimizer, loss='sparse_categorical_crossentropy', metrics=['accuracy'])
  

• 增加训练轮数并加入早停：5轮不足以收敛，同时防止过拟合：

  early_stop = tf.keras.callbacks.EarlyStopping(monitor='val_loss', patience=3)
  history1 = model1.fit(train_data, epochs=20, validation_data=valid_data, callbacks=[early_stop])
  

• 加入数据增强：针对小数据集提升泛化能力：

  data_augmentation = tf.keras.Sequential([
      tf.keras.layers.RandomFlip('horizontal'),
      tf.keras.layers.RandomRotation(0.1),
      tf.keras.layers.RandomZoom(0.1)
  ])
  # 在模型开头插入增强层
  model = tf.keras.Sequential([
      data_augmentation,
      # 后续卷积/全连接层...
  ])
  

4. 验证数据集有效性 #

• 手动检查样本与标签是否匹配：

  import matplotlib.pyplot as plt
  for images, labels in train_data.take(1):
      plt.imshow(images[0].numpy())
      plt.title(train_data.class_names[labels[0].numpy()])
      plt.show()
  

• 处理类别不平衡：若部分类别样本极少，需设置class_weight：

  import numpy as np
  # 统计每个类别的样本数
  class_counts = np.bincount(np.concatenate([y for x, y in train_data], axis=0))
  total_samples = class_counts.sum()
  class_weight = {i: total_samples / class_counts[i] for i in range(len(class_counts))}
  # 训练时传入参数
  history1 = model1.fit(train_data, epochs=20, validation_data=valid_data, class_weight=class_weight)
  

内容的提问来源于stack exchange，提问作者karan10i