基于GAN的图像生成模型训练异常：判别器未过拟合问题排查

1. 数据集层面问题 #

• 数据集规模与多样性不足：如果猫咪数据集样本量过小，或是仅覆盖单一品种、固定姿态/背景/光照的猫咪，判别器无需学习复杂特征就能区分真假样本，自然不会出现过拟合。需检查数据集是否涵盖不同品种、姿态、环境的猫咪样本。
• 预处理操作失误：比如RGB图像归一化未匹配模型输入要求（如未缩放到[0,1]或[-1,1]区间）、裁剪/resize过程丢失关键特征，导致判别器无法学到有效区分依据，也就不会产生过拟合。

2. 模型结构设计问题 #

• 判别器容量不足：若判别器的卷积层数过少、卷积核数量不足，特征提取能力受限，无法捕捉数据集中的细微特征，难以出现过拟合。可尝试增加判别器的卷积层数、提升通道数，或加入注意力模块强化特征捕捉能力。
• 生成器能力过弱：如果生成器输出的图像质量极差，判别器无需深入学习就能轻松区分真假，自然不会过拟合。需检查生成器的上采样层数量、激活函数是否适配（比如输出层用Tanh对应[-1,1]的归一化），是否存在结构过于简单的问题。
• 正则化过度：判别器中Dropout比例过高、L2正则化权重过大，或是Batch Size设置过大放大了正则化效果，都会抑制判别器的过拟合倾向。可尝试降低Dropout比例、减小L2权重，或缩小Batch Size测试效果。

3. 训练策略与参数问题 #

• 梯度异常：训练过程中出现梯度消失或爆炸，会导致判别器权重无法有效更新，无法学到足够特征。可尝试使用梯度裁剪（torch.nn.utils.clip_grad_norm_）、更换优化器（如从SGD换成Adam），或调整学习率衰减策略。
• 训练轮次不足：判别器还未学到足够的数据集特征就停止训练，自然不会出现过拟合。可延长训练轮次，观察判别器损失曲线是否逐步下降并趋于稳定，同时查看生成图像质量是否有提升。
• 标签平滑过度：若标签平滑的系数设置过大（比如真实标签设为0.95以上，假标签设为0.05以下），会让判别器的学习目标过于模糊，无法精准区分真假样本，难以出现过拟合。可尝试降低平滑幅度，比如真实标签用0.9、假标签用0.1，或暂时关闭标签平滑验证效果。

4. 评估指标误判 #

• 混淆“稳定状态”与“未过拟合”：需结合生成图像质量、判别器在验证集的表现判断。如果判别器在训练集上的准确率维持在50%左右，可能是GAN达到了纳什均衡；但如果生成图像质量极差，那是判别器没学到有效特征，而非真正的均衡。可计算判别器对训练集真实图像的分类准确率，只有准确率接近100%才是过拟合，若一直处于较低水平则是特征学习不足。

内容的提问来源于stack exchange，提问作者Loy Angel