为何未训练的3通道GAN生成器仅生成灰色图像？

你正在构建生成128×128彩色图像的GAN，生成器代码如下：

def make_generator_model():
    model = tf.keras.Sequential()
    model.add(layers.Dense(16*16*256, use_bias=False, input_shape=(100,)))
    model.add(layers.BatchNormalization())
    model.add(layers.LeakyReLU())

    model.add(layers.Reshape((16, 16, 256)))
    assert model.output_shape == (None, 16, 16, 256)

    model.add(layers.Conv2DTranspose(128, (5, 5), strides=(2, 2), padding='same', use_bias=False))
    assert model.output_shape == (None, 32, 32, 128)
    model.add(layers.BatchNormalization())
    model.add(layers.LeakyReLU())

    model.add(layers.Conv2DTranspose(64, (5, 5), strides=(2, 2), padding='same', use_bias=False))
    assert model.output_shape == (None, 64, 64, 64)
    model.add(layers.BatchNormalization())
    model.add(layers.LeakyReLU())

    model.add(layers.Conv2DTranspose(3, (5, 5), strides=(2, 2), padding='same', use_bias=False, activation='sigmoid'))
    assert model.output_shape == (None, 128, 128, 3)

    return model

问题：未训练的生成器生成的图像RGB值均接近0.5，呈现全灰色。

原因拆解 #

• 权重初始化的默认特性：Keras中Dense和Conv2DTranspose层默认用Glorot uniform初始化，这种方式让每层输入输出方差均衡，但初始状态下，网络各层的输出会集中在激活函数的中间区间。
• Sigmoid激活的输出规律：Sigmoid函数输入为0时输出正好是0.5，未训练时，经过前面的BatchNorm和LeakyReLU处理后，最后一层的输入值大多围绕0浮动，经过Sigmoid后自然趋近于0.5。
• 未训练的BatchNormalization状态：BatchNorm的移动均值和方差在训练前默认是0和1，经过它处理后的输出也会集中在0附近，进一步推高了Sigmoid输出接近0.5的概率。

后续处理建议 #

这是未训练GAN的正常表现，不需要提前修改网络结构。启动训练后，生成器会根据判别器的反馈更新参数，输出值会逐渐分散到(0,1)区间的不同位置，最终生成有色彩和细节的图像。如果想提前看到随机分布的输出，可以临时把最后一层的激活换成tanh（输出范围-1到1），再通过(output + 1)/2缩放到0-1区间，但这对正式训练没有必要。

内容的提问来源于stack exchange，提问作者crevdav