为什么我的CNN首个epoch训练验证准确率就接近99.8%？

• 数据集任务难度极低：如果分类任务的类间视觉差异非常显著（例如区分手写数字0和字母X、区分动物和建筑），且数据集标注错误率低于0.2%，类内样本的特征一致性极强，CNN仅需要1轮迭代就能学到核心的判别特征，此时高准确率属于有效学习的正常表现，和是否添加Dropout无关。
• 数据集划分存在数据泄露：这是此类问题最常见的诱因，常见的泄露场景包括：
  • 数据集拆分前未做全局随机打乱，同类别或同源样本同时流入训练集和验证/测试集
  • 同一原始图像的不同增强版本（裁剪、翻转、加噪后的样本）同时出现在训练集和测试集
  • 预处理阶段使用了测试集的全局统计量（例如均值、标准差）对训练集做归一化
    上述情况都会导致模型在训练阶段已经接触到测试集的隐含信息，首轮训练就可以拿到虚高的泛化表现。
• 模型容量和任务难度不匹配：如果任务本身非常简单，但你使用的CNN参数量远大于拟合任务所需的最小参数量，哪怕添加了Dropout层，模型的记忆容量也足够覆盖全部训练样本的特征，首轮迭代就可以完成全量样本的记忆。你可以通过随机标签测试验证该情况：将训练集的标签完全随机打乱后重新训练，若模型仍能在训练集上达到接近100%的准确率，即可证明模型容量过剩，存在记忆训练样本的可能性。
• Dropout层配置失效：如果Dropout的丢弃概率设置过低（比如低于0.1），或仅在输出层前添加单层Dropout、未在中间卷积层/全连接层的激活输出后添加Dropout，Dropout本质不会起到抑制过拟合或样本记忆的作用，不影响模型快速拟合训练集。

内容的提问来源于stack exchange，提问作者rb3652