单类不足100张图像时CNN模型仅20%准确率是否正常？需多少样本？

问题背景 #

我正在使用Kaggle的国际象棋棋子数据集，搭建并运行CNN模型后，准确率仅约20%且不再提升。请问当每个训练类别的图像不足100张时，这种情况是否正常？我已进行图像增强操作，若此为正常情况，这类数据集大约需要多少张图像？

用户使用的模型结构如下：

model = tf.keras.models.Sequential([
  tf.keras.layers.Conv2D(32, (3,3), activation='relu', input_shape=(150, 150, 3)),
  tf.keras.layers.MaxPooling2D(2, 2),
  tf.keras.layers.Conv2D(32, (3,3), activation='relu'),
  tf.keras.layers.MaxPooling2D(2,2),
  
  tf.keras.layers.Flatten(),
  tf.keras.layers.Dense(512, activation='relu'),
  tf.keras.layers.Dense(6, activation = "softmax")
])

model.compile(
    loss = "sparse_categorical_crossentropy",
    optimizer = "rmsprop",
    metrics = ["accuracy"]
)

解答内容 #

1. 小样本下低准确率是否正常？ #

是正常的。每个类别不足100张属于极小样本规模，即便做了图像增强，CNN也很难学到足够区分6类棋子的有效特征——图像增强只是对现有样本做变换，无法创造全新的特征分布。20%左右的准确率接近6类任务的随机猜测准确率（约16.7%），说明模型几乎没学到有用特征，处于典型的欠拟合状态。

2. 这类数据集需要多少图像？ #

针对国际象棋棋子这类视觉特征有一定区分度但不算极强的分类任务：

• 最低达标线：每个类别至少200-300张原始图像，配合充分的图像增强（旋转、翻转、缩放、亮度/对比度调整等），模型能学到基础类别特征，准确率有望提升至70%-80%。
• 理想规模：每个类别500+张原始图像，此时模型能稳定学习到细粒度特征，准确率可冲击90%以上。

3. 当前小样本场景的优化建议 #

• 精简模型：现有模型的全连接层用了512个神经元，对小样本来说极易过拟合，建议缩减至128或64个神经元，同时加入tf.keras.layers.Dropout(0.5)层抑制过拟合。
• 迁移学习：采用预训练模型（如VGG16、ResNet50）做特征提取，冻结底层权重仅训练顶层分类层，这是小样本分类最有效的解决方案，能大幅提升准确率。
• 调整训练策略：降低RMSprop的学习率（如设为1e-4），增加训练轮次，同时使用早停法（EarlyStopping）避免无效训练。

内容的提问来源于stack exchange，提问作者jack the ripper