GAN的loss与模型评估：收敛逻辑疑问及客观性能衡量方法咨询

首先需要纠正一个常见的认知偏差：你提到的「收敛到0.5」是理想纳什均衡下判别器对真实样本、生成样本的输出概率值，而非损失值。原始标准GAN使用二元交叉熵损失时，均衡状态下的损失值为ln2 ≈ 0.693，本身就不是0.5，你的认知前提存在误差。

你观察到的两者损失都低于0.5属于训练过程中的正常现象，常见原因如下：

• 生成器使用了非饱和损失：目前几乎所有工程实现都会放弃原始生成器损失L_G = E[log(1-D(G(z)))]，改用L_G = -E[log(D(G(z)))]避免训练早期梯度消失。这种损失设定下，生成器损失收敛值会明显低于0.693，你当前的0.35损失对应判别器给生成样本的平均打分约为0.7，说明生成器已经学到了有效特征。
• 判别器仍处于强势阶段：你提到判别器loss快速收敛到0.25，说明当前判别器的能力远超过生成器，可以轻松区分大部分真实样本和生成样本，属于训练前期的正常阶段性表现。如果长期维持该状态，可调整训练策略，比如降低判别器学习率，或调整生成器、判别器的训练步长比例。
• 正则策略的影响：如果你在训练中使用了标签平滑、权重衰减、随机翻转标签等正则手段，也会改变损失的收敛阈值，出现低于0.693的情况。

你可以通过打印每步的D(x)（判别器对真实样本的平均输出）和D(G(z))（判别器对生成样本的平均输出）验证损失设置是否正确：

正常训练阶段，D(x)应该始终高于D(G(z))，随着训练推进两者差值逐渐缩小，稳定阶段差值通常不超过0.2。如果D(x)长期接近1且D(G(z))长期接近0，说明判别器过强，需要调整训练策略。

主流的通用评估指标包括以下几类：

• Fréchet Inception Distance (FID)：目前最常用的GAN评估指标，计算生成样本和真实样本在预训练InceptionV3模型特征空间的分布距离，数值越低说明生成样本的质量和分布和真实样本越接近，鲁棒性远高于传统的Inception Score。
• Inception Score (IS)：基于预训练图像分类模型，同时衡量生成样本的分类置信度（对应生成质量）和类别分布多样性，得分越高说明生成效果越好，缺点是对模式崩塌的检测能力较弱，容易出现虚高。
• Precision & Recall 指标：分别衡量生成样本的质量（Precision：生成样本中符合真实分布的比例）和多样性（Recall：真实分布中被生成器覆盖的比例），可以明确量化生成器在质量和多样性上的trade-off，适合对比不同模型的优化方向。
• 领域特定指标：针对特定任务的GAN可使用对应领域的标准指标，比如图像超分辨率用PSNR、SSIM，人脸生成用身份相似度得分，图像翻译用LPIPS等，比通用指标更贴合实际业务需求。

内容的提问来源于stack exchange，提问作者Rerun