WGAN-GP训练时生成器与判别器损失为何收敛于较高数值？

首先明确WGAN-GP的损失定义基准：critic损失为E[C(real)] - E[C(fake)] + λ*梯度惩罚项，生成器损失为-E[C(fake)]，你遇到的两个损失绝对值涨到几万、几十万但曲线看似收敛的情况，是WGAN-GP训练里非常典型的尺度问题，和模型收敛与否没有直接关系，常见诱因有三个：

• 梯度惩罚约束失效。WGAN-GP靠梯度惩罚保证critic满足1-Lipschitz连续，一旦约束强度不够，critic的优化目标本身就是尽量拉大真实样本、生成样本的输出差值，输出值会随着训练持续线性放大，最终连带两个损失的绝对值涨到极高量级。你看到的“收敛”只是两个损失的比值趋于稳定，不是输出尺度稳定。常见的实现错误包括：梯度惩罚权重λ设置过小（128×128分辨率下建议λ≥10）、计算梯度惩罚时没有逐样本计算梯度范数而是直接对batch求整体梯度、插值样本采样逻辑错误（比如eps没有逐样本随机采样、插值范围不在真实样本和生成样本的连线上）。
• 损失计算用求和代替了平均。很多人写代码时图方便，直接对batch维度的critic输出求和计算损失，没有求平均，这时候损失数值会和batch size、图像分辨率正相关。你用的128×128图像本身特征维度就远高于64×64及以下的低分辨率图，只要batch size开到32以上，求和算出来的损失随随便便就能到五位数、六位数，只要训练过程中损失波动稳定、生成质量持续上升，这种情况不代表训练出错。
• critic训练强度过高。如果你给critic设置的学习率远高于生成器，或者每轮critic更新次数太多（比如每更新1次生成器就更新10次以上critic），critic会快速把真实样本和生成样本的输出分差拉到极大值，哪怕梯度惩罚配置正确，也会出现两个损失同步向负方向漂移、最终稳定在高绝对值区间的现象。

快速排查方法：先单独打印critic对真实样本、生成样本的输出值，确认是不是输出本身就达到了几万量级；再固定当前训练的critic，随机采样100组真实-生成样本对计算插值点的梯度范数，正常训练的WGAN-GP插值梯度范数应该稳定在1附近，如果远大于1，就能确定是梯度惩罚没生效。

对应的修正方案很直接：

1. 先改损失计算逻辑，把所有batch维度的sum操作替换成mean，把损失尺度拉到和batch size、分辨率无关的区间
2. 逐行核对梯度惩罚实现：插值样本按interp = real + eps * (fake - real)生成，其中eps是每个样本独立采样的0~1均匀分布随机数；惩罚项计算为λ * ((梯度L2范数 - 1)**2).mean()，128分辨率下λ设10即可
3. 调整训练配比：128分辨率下每更新1次生成器对应更新5次critic就足够，优化器选Adam的话两个网络的学习率都用2e-4，betas设为(0, 0.9)，不要用Pytorch默认的(0.9, 0.999)，避免critic更新过快导致输出尺度爆炸

最后提一句：不要用普通交叉熵损失GAN的损失数值经验套WGAN-GP，WGAN-GP的损失绝对值本身没有固定的合理区间，只要梯度惩罚生效、生成样本质量符合预期，哪怕数值偏大也不影响模型效果。

内容的提问来源于stack exchange，提问作者Anonymous