Keras实现基础GAN时为何仅能拟合抛物线、无法生成圆分布样本？如何修复？

对比能正常收敛的抛物线分布，圆分布的训练崩溃是三层矛盾共同导致的：

• 拓扑不匹配矛盾：抛物线是拓扑结构为一维直线的开式分布，本质是y=x²的简单映射，生成器只要把输入噪声映射到x的取值范围，再对应算出y值就能完美拟合，对网络的拓扑约束极低。而单位圆是拓扑结构为一维闭合环的流形，神经网络的连续映射天生有硬性约束——输入空间里距离很近的两个点，输出在样本空间里也必须距离很近。要生成闭合的圆环，就必然要在环的接缝位置出现“输入近、输出远”的矛盾，浅层次的全连接网络根本绕不开这个拓扑难题。
• 散度饱和导致梯度消失：当前实现用的是原始GAN基于JS散度的binary crossentropy损失，当两个分布几乎没有重叠区域时，JS散度会直接进入饱和区，梯度彻底消失。真实的圆分布是贴在半径为1的薄环上的，训练初期生成器输出的点大多聚在圆心附近的团块里，判别器可以非常轻松地把两类样本分开，这时候给生成器回传的梯度几乎为0，生成器根本拿不到“要把分布往外挪到环上”的有效信号，就会卡在原地不动。从训练动图里能直接观察到，红点始终聚在中心附近散不开，就是梯度饱和的典型表现。
• 网络表达能力不足：当前的生成器只有两层全连接，深度和神经元宽度都偏低，加上最后一层用tanh激活输出线性区间的坐标，根本没有能力拟合带周期性的圆周映射——圆周上的点需要用带2π周期的三角函数生成，没有周期特性的线性网络，哪怕梯度不消失，也要花极长时间才能拟合出环的形状，实际训练里早就卡在局部最优了。代码里两层Dense重复写了无效的input_dim参数，也侧面说明网络结构是通用型设计，没有针对流形分布的特性做优化。

针对上面的问题，对应调整就可以让GAN正常收敛拟合圆分布：

• 替换损失函数解决梯度消失问题：把原来基于JS散度的binary crossentropy，换成带梯度惩罚的Wasserstein损失（WGAN-GP）。这种损失哪怕两个分布完全没有重叠，也能保持稳定的梯度输出，平滑引导生成器把中心的团块一点点向外推移，最终精准贴合到圆周上。调整的时候注意几个细节：判别器最后一层去掉sigmoid激活，直接输出数值评分；替换原来的beta1=0.5的Adam参数，换成beta1=0, beta2=0.9, lr=0.0001的Adam配置；给判别器加上梯度惩罚项，保证满足1-Lipschitz约束。
• 调整网络结构匹配周期特性：把原来的两层全连接加深到3-4层，每层神经元数从64提到128-256，提升网络的拟合能力；如果想要更快收敛，可以在生成器的中间层专门增加一个映射到角度空间的分支，再用cos、sin激活把角度转成x、y坐标，让网络天生就具备拟合圆周的能力。
• 优化训练动态平衡生成和判别：原来的训练流程是每训1次判别器就训1次生成器，对薄流形的圆分布来说，判别器很容易过快达到过高的准确率，再次导致梯度饱和。可以调整为每训1次生成器，训2-3次判别器，同时给判别器的输入加入轻微的高斯噪声，避免分类边界太硬。
• 降低生成器的学习难度：原来的潜空间维度设成了128维，对2维输出的任务来说维度太高了，可以把latent_dim降到2-8维，减少生成器需要学习的映射复杂度，加快收敛速度。

内容的提问来源于stack exchange，提问作者mrgloom