CycleGAN生成器tf.concat维度不匹配ValueError问题求助

错误核心原因 #

1. 下采样函数层误用：downsample函数错误使用了Conv2DTranspose（转置卷积），该层作用是上采样放大特征图，但下采样需要缩小特征图，应使用普通的Conv2D。原代码中每次调用downsample都会让特征图尺寸翻倍，导致后续concat时当前特征图与存储的中间特征图尺寸完全不匹配，触发形状错误。
2. 生成器结构逻辑错误：原上采样循环先执行concat再upsample，且滤波器数量与concat后的通道数不匹配，进一步加剧了尺寸与通道的矛盾。

修复步骤与代码 #

1. 修正下采样函数 #

将Conv2DTranspose替换为Conv2D，实现真正的下采样：

def downsample(filters, kernel_size, apply_instance_norm=True, n_strides=2):
    model = tf.keras.Sequential()
    # 下采样使用Conv2D，配合strides=2实现特征图缩小
    model.add(tf.keras.layers.Conv2D(filters, kernel_size, strides=n_strides, padding='same',
                                     kernel_initializer=tf.keras.initializers.RandomNormal(0., 0.02), use_bias=False))
    if apply_instance_norm:
        model.add(tf.keras.layers.InstanceNormalization())
    model.add(tf.keras.layers.LeakyReLU(0.2))
    return model

2. 优化上采样函数（符合CycleGAN标准） #

替换激活函数为ReLU，增加可选Dropout层提升稳定性：

def upsample(filters, kernel_size, apply_dropout=False):
    model = tf.keras.Sequential([
        tf.keras.layers.Conv2DTranspose(filters, kernel_size, strides=2, padding='same',
                                        kernel_initializer=tf.keras.initializers.RandomNormal(0., 0.02), use_bias=False),
        tf.keras.layers.InstanceNormalization(),
        tf.keras.layers.ReLU(),
    ])
    if apply_dropout:
        model.add(tf.keras.layers.Dropout(0.5))
    return model

3. 重构生成器结构 #

调整下采样/上采样逻辑，确保concat时特征图尺寸与通道数完全匹配：

def generator(IM_SHAPE=(64,64,3)):
    inputs = tf.keras.layers.Input(IM_SHAPE)
    x = inputs
    
    # 下采样路径：生成5个特征图，尺寸依次为64→32→16→8→4→2
    down_stack = [
        downsample(32, 4, apply_instance_norm=False),  # (64,64,3) → (32,32,32)
        downsample(64, 4),                             # (32,32,32) → (16,16,64)
        downsample(128, 4),                            # (16,16,64) → (8,8,128)
        downsample(256, 4),                            # (8,8,128) → (4,4,256)
        downsample(512, 4),                            # (4,4,256) → (2,2,512)
    ]
    
    # 上采样路径：对应下采样的逆过程
    up_stack = [
        upsample(256, 4, apply_dropout=True),  # (2,2,512) → (4,4,256)
        upsample(128, 4),                     # (4,4,256+256) → (8,8,128)
        upsample(64, 4),                      # (8,8,128+128) → (16,16,64)
        upsample(32, 4),                      # (16,16,64+64) → (32,32,32)
    ]
    
    # 最后一层上采样到原图尺寸，输出3通道（tanh激活符合GAN输出规范）
    last = tf.keras.layers.Conv2DTranspose(3, 4, strides=2, padding='same',
                                           kernel_initializer=tf.keras.initializers.RandomNormal(0., 0.02),
                                           activation='tanh')  # (32,32,32+32) → (64,64,3)
    
    # 执行下采样并存储中间特征（跳连接）
    skips = []
    for down in down_stack:
        x = down(x)
        skips.append(x)
    
    # 移除最后一个特征（下采样最终输出，无需参与跳连接concat）
    skips = skips[:-1]
    
    # 上采样+跳连接concat
    for up, skip in zip(up_stack, reversed(skips)):
        x = up(x)
        x = tf.concat([x, skip], axis=-1)
    
    # 生成最终输出
    x = last(x)
    
    return tf.keras.Model(inputs=inputs, outputs=x, name='unet_generator')

验证修复 #

调用generator().summary()可正常输出模型结构，输入(64,64,3)经过处理后会输出(64,64,3)的生成图像，所有concat操作的特征图尺寸与通道数完全匹配，无形状异常。

内容的提问来源于stack exchange，提问作者ayyi