MNIST数据集GAN训练生成图片全部相同问题求助

触发原因 #

• 核心为模式崩溃（Mode Collapse），属于GAN训练的典型异常：生成器在训练过程中找到了少量可以稳定骗过判别器的输出样本，就停止探索其他数据分布，最终所有生成结果收敛到同一模式。
• 你已经使用randn生成噪声，排除了均匀分布噪声不匹配隐空间要求的基础问题，可重点排查以下触发因素：
  • 判别器收敛速度远快于生成器，导致生成器后期拿到的梯度趋近于0，只能反复输出已经验证有效的样本，无法迭代优化出更多模式
  • 使用了原版GAN的交叉熵损失，训练到后期容易出现梯度消失，催生模式崩溃
  • 输入隐空间的噪声维度太小，没有足够自由度拟合MNIST数据集10类数字的分布
  • 训练超参数失衡：生成器和判别器的训练步长比例不对、学习率设置不合理、batch size过小都可能诱发该问题

修复方案 #

• 调整训练步长配比：每训练2~3次判别器再更新1次生成器，避免判别器过强压制生成器的优化空间
• 替换损失函数：将原版交叉熵损失替换为WGAN-GP、LSGAN类损失，这类损失可以有效缓解梯度消失问题，大幅降低模式崩溃的发生概率
• 增加正则约束：给判别器添加梯度惩罚项，给生成器添加特征匹配损失，约束生成器不要收敛到单一输出模式
• 调整隐空间参数：将输入生成器的随机噪声维度提升到64~128维，保证有足够的自由度拟合多类数字的分布
• 优化超参数：学习率调整到1e-4级别，使用Adam优化器时将beta1参数设为0.5避免训练震荡，batch size不要小于32
• 添加标签平滑：训练判别器时，将真实样本的标签从1修改为0.9左右的软标签，避免判别器过度自信，给生成器留出足够的优化梯度
• 排查代码逻辑：检查生成器输出层的激活函数是否适配MNIST像素值的分布（0_{1用Sigmoid、-1}1用Tanh），确认训练过程中输入生成器的噪声没有被错误固定成同一组值

内容的提问来源于stack exchange，提问作者logankilpatrick