PyTorch实现GAN训练时批次内生成图像高度相似问题求助

该问题属于GAN训练中典型的**模式崩溃（Mode Collapse）**问题，对应两个异常现象的逻辑如下：

• 同批次输入不同随机噪声，但生成输出高度趋同：生成器陷入局部最优，已经学会了忽略输入噪声的差异，仅输出判别器最容易判定为真的少数几类样本，无法覆盖真实数据的全部分布。
• 固定随机噪声输入，不同epoch生成结果持续变化：生成器参数始终在训练中更新，同一输入经过不同参数的生成器计算，输出自然会发生变化，只是无论参数如何更新，生成器始终只会输出那几类高度相似的样本。

可落地的修复方案 #

1. 调整生成器与判别器的训练节奏
   不要让判别器训练程度远超生成器，推荐每训练1次生成器，对应训练1~2次判别器，保持两者的性能平衡，避免判别器太“强”导致生成器只能学到单一模式的取巧解。
2. 替换损失函数
   当前用的普通交叉熵损失极易诱发模式崩溃，换成WGAN-GP损失或者最小二乘GAN损失，能大幅降低模式崩溃的发生概率。
3. 优化生成器结构
   现有生成器的通道数设置冗余度过高，第一层就用到800通道，反而容易收敛到局部最优。可以参考标准DCGAN的结构调整通道数：第一层设为512通道，之后每层通道数依次减半：512→256→128→64→32，减少不必要的参数冗余。
4. 加入训练正则策略
   给判别器的输入（真实图像、生成图像）加入少量随机高斯噪声，同时对真实/伪造标签做平滑处理：真实标签取0.9_{1之间的随机值，伪造标签取0}0.1之间的随机值，降低判别器的输出置信度，避免生成器走捷径。
5. 校准优化器参数
   生成器和判别器的优化器推荐用Adam，学习率设为0.0002，betas参数设为(0.5, 0.999)，过高的学习率会导致生成器无法稳定学习到多模式分布。

注：当前用于保存图像的代码逻辑是正常的，用固定的gen向量保存不同轮次的生成结果，出现变化属于参数更新后的正常现象。

内容的提问来源于stack exchange，提问作者Ashwani Ahlawat