TensorFlow GAN生成256x256x3图像失败，仅输出64x64x3的问题

问题根源 #

你的256x256版本生成器的上采样次数不足，导致最终输出尺寸仅为64x64；同时大尺寸图像带来的高计算量是运行缓慢的核心原因。

修正方案 #

1. 调整生成器结构，确保输出256x256 #

生成器需要从潜在向量出发，通过足够次数的上采样得到目标尺寸。以下是修正后的生成器：

latent_dim = 128

generator = keras.Sequential(
    [
        keras.Input(shape=(latent_dim,)),
        # 初始映射到8x8特征图，为5次上采样到256做准备
        layers.Dense(8 * 8 * 256),
        layers.Reshape((8, 8, 256)),
        layers.BatchNormalization(),
        layers.LeakyReLU(alpha=0.2),
        # 上采样1: 8→16
        layers.Conv2DTranspose(128, kernel_size=5, strides=2, padding="same"),
        layers.BatchNormalization(),
        layers.LeakyReLU(alpha=0.2),
        # 上采样2:16→32
        layers.Conv2DTranspose(64, kernel_size=5, strides=2, padding="same"),
        layers.BatchNormalization(),
        layers.LeakyReLU(alpha=0.2),
        # 上采样3:32→64
        layers.Conv2DTranspose(32, kernel_size=5, strides=2, padding="same"),
        layers.BatchNormalization(),
        layers.LeakyReLU(alpha=0.2),
        # 上采样4:64→128
        layers.Conv2DTranspose(16, kernel_size=5, strides=2, padding="same"),
        layers.BatchNormalization(),
        layers.LeakyReLU(alpha=0.2),
        # 上采样5:128→256，直接输出RGB通道
        layers.Conv2DTranspose(3, kernel_size=5, strides=2, padding="same", activation="sigmoid"),
    ],
    name="generator",
)

计算逻辑：8×2^5=256，通过5次步长为2的上采样，最终得到256x256x3的输出。

2. 对应调整判别器结构（与生成器对称） #

判别器需要匹配256x256的输入，通过5次下采样压缩为特征向量，与生成器的上采样次数对称：

img_size = 256
discriminator = keras.Sequential(
    [
        keras.Input(shape=(img_size, img_size, 3)),
        # 下采样1:256→128
        layers.Conv2D(16, kernel_size=5, strides=2, padding="same"),
        layers.LeakyReLU(alpha=0.2),
        # 下采样2:128→64
        layers.Conv2D(32, kernel_size=5, strides=2, padding="same"),
        layers.BatchNormalization(),
        layers.LeakyReLU(alpha=0.2),
        # 下采样3:64→32
        layers.Conv2D(64, kernel_size=5, strides=2, padding="same"),
        layers.BatchNormalization(),
        layers.LeakyReLU(alpha=0.2),
        # 下采样4:32→16
        layers.Conv2D(128, kernel_size=5, strides=2, padding="same"),
        layers.BatchNormalization(),
        layers.LeakyReLU(alpha=0.2),
        # 下采样5:16→8
        layers.Conv2D(256, kernel_size=5, strides=2, padding="same"),
        layers.BatchNormalization(),
        layers.LeakyReLU(alpha=0.2),
        layers.Flatten(),
        layers.Dropout(0.3),
        layers.Dense(1, activation="sigmoid"),
    ],
    name="discriminator",
)

3. 提速优化建议 #

• 降低通道数：大幅削减原模型中过高的通道数（如1024），减少计算量；
• 混合精度训练：开启TensorFlow混合精度，减少显存占用并加速计算：

  from tensorflow.keras.mixed_precision import set_global_policy
  set_global_policy('mixed_float16')
  

• 调小批量大小：根据显存容量适当降低batch size，避免显存溢出导致的卡顿；
• 替换卷积核：将5x5卷积核改为3x3，在不损失特征提取能力的前提下减少计算量。

验证输出尺寸 #

修正后，可通过以下代码确认生成器输出形状：

generator.build((None, latent_dim))
print(generator.output_shape)  # 应输出(None, 256, 256, 3)

内容的提问来源于stack exchange，提问作者Adel