CycleGAN为何采用双判别器，而非可区分三类样本的单个判别器？

你提到的这种将真实X域样本、伪造样本、真实Y域样本对应三分类标签的单判别器方案，看似能减少参数量、降低计算开销，实际存在多个核心缺陷，在通用无监督图像转换场景下的表现远不如原生双判别器设计，核心原因有以下几点：

• 任务梯度冲突问题
  原生CycleGAN的两个判别器承担的是完全解耦的二分类任务：D_X仅判断输入是否为真实X域样本，D_Y仅判断输入是否为真实Y域样本，任务边界清晰，各自的梯度更新不会互相干扰，训练稳定性极强。而三分类单判别器需要同时学习X域特征分布、Y域特征分布、伪造样本特征三类分布的边界，反向传播时不同任务的梯度很容易出现冲突，反而会大幅提升收敛难度，甚至出现模式崩溃，最终省下的参数量和计算量，远抵不上调参成本、收敛变慢带来的额外开销。
• 伪造样本的反馈精度不足
  你提出的方案中将所有伪造样本统一归为0类，但CycleGAN的伪造样本实际分为两类：X转Y生成的假Y样本、Y转X生成的假X样本，二者特征分布差异极大。统一归为一类后，判别器无法给两个生成器提供精准的梯度反馈：比如生成的假X被判为0，生成器只能知道「样本不够真实」，但无法判断是更偏向X域、更偏向Y域还是属于完全无效的噪声分布，没法做针对性优化，最终生成的样本很容易出现特征模糊、跨域不彻底的问题。
• 和循环一致性损失的适配性差
  CycleGAN的核心损失除了GAN对抗损失外，还有循环一致性损失，用于保证X→Y→X、Y→X→Y的重构精度。双判别器的独立梯度信号可以分别和两个生成器的重构梯度完美适配，不会出现信号混淆。而单判别器输出的是混合梯度，很容易和循环一致性损失的梯度方向冲突，最终要么重构精度大幅下降，要么生成样本的真实性不达标。

当然也有部分针对特定场景的改进工作尝试了单判别器设计，但需要做大量额外的约束调整才能稳定训练，通用场景下原生双判别器的表现依然是最优的，因此标准CycleGAN选择了双判别器方案。

内容的提问来源于stack exchange，提问作者LambdaDelta34