为何生成器已用sigmoid仍启用BinaryCrossEntropy的from_logits参数?
关于GAN生成器sigmoid与损失函数from_logits=True的疑问解答
你这里其实混淆了损失函数的输入对象——生成器输出层的sigmoid是用来处理生成的图片像素值的,而损失函数里的from_logits=True是针对判别器D的输出,两者根本不冲突。
具体来说:
- 生成器最后用sigmoid,是因为MNIST这类手写数字图片的像素值范围本来就是0到1,把生成的张量归一化到这个区间是合理的,和损失函数的设置没关系。
- 你看
G_loss函数里,传给交叉熵损失的是D(x_fake),也就是判别器对生成样本的预测结果。原代码没贴判别器的结构,但从from_logits=True能反推:判别器的最后一层应该是没有加sigmoid激活的,输出的是logits(未经过激活的原始输出,范围是(-∞,+∞))。这时候用from_logits=True是正确的,因为BinaryCrossentropy会在内部自动完成sigmoid转换再计算损失,这样能避免手动加sigmoid可能带来的数值不稳定问题(比如sigmoid饱和时梯度消失)。
简单说,生成器的sigmoid管的是“生成什么样的图片”,损失函数的from_logits=True管的是“判别器输出的是什么形式的预测值”,两者各司其职,作者这么写是合理的。
内容的提问来源于stack exchange,提问作者Muhammad Ikhwan Perwira
相关产品推荐
相关产品推荐

