Keras带跳跃连接自编码器拆分后仅输入潜向量解码报错问题

你当前报错的直接原因是解码器的5个输入的第一维度（样本数维度）不统一：你传入的潜向量是100个样本，而你用的C1/C2/C3/C4还是之前训练时导出的2000个训练样本的中间特征，Keras要求所有输入张量的样本维度必须完全一致，所以触发了该错误。另外你测试代码里的decoder_input = (100,32)是定义形状的元组，并非实际的输入张量，也需要替换为符合形状要求的样本数据。
更深层的问题是：你当前的解码器设计本身就依赖对应输入样本的中间卷积特征（跳跃连接），而非仅依赖潜向量就能完成重建，这是U-Net结构的特性，跳跃连接的特征和原始输入是一一绑定的，不能凭空生成。

根据你的使用场景可以选择对应方案：

场景1：需要重建和潜向量对应的原始输入样本 #

如果你手里的100个32维潜向量是从100个新样本通过编码器跑出来的，直接用编码器生成对应100个样本的C1-C4即可，代码如下：

import numpy as np
# 假设你的100个原始输入样本是 test_X，形状为 (100, 256, 642)
latent_vec, C1_new, C2_new, C3_new, C4_new = UNet_encoder.predict(test_X)
# 此时所有输入的样本维度都是100，完全匹配
pred_results = UNet_decoder.predict([latent_vec, C1_new, C2_new, C3_new, C4_new])

场景2：希望仅输入随机生成的32维潜向量就能生成输出，不需要对应原始样本 #

这种情况需要修改网络结构，把跳跃连接改成由潜向量生成，而非依赖编码器输出，修改后重新训练即可，示例修改代码如下：

inputs_decoder = Input(shape=(32))
# 用潜向量生成跳跃连接需要的伪特征
gen_C1 = Dense(256*512, activation='relu')(inputs_decoder)
gen_C1 = Reshape((256, 512))(gen_C1)
gen_C2 = Dense(128*256, activation='relu')(inputs_decoder)
gen_C2 = Reshape((128, 256))(gen_C2)
gen_C3 = Dense(64*128, activation='relu')(inputs_decoder)
gen_C3 = Reshape((64, 128))(gen_C3)
gen_C4 = Dense(32*64, activation='relu')(inputs_decoder)
gen_C4 = Reshape((32, 64))(gen_C4)

# 后续原有解码器逻辑不变，把C1-C4替换成上面生成的gen_C1-gen_C4
X = Dense(2048, activation='relu')(inputs_decoder)
X = Reshape(target_shape=(32, 64))(X)
C5 = Conv1D(filters=64, kernel_size=5,  padding='same', activation='relu', name='C5')(X)
C5 = Concatenate(axis=-1)([gen_C4, C5])
U  = UpSampling1D(size = 2)(C5)
C6 = Conv1D(filters=128, kernel_size=5,  padding='same', activation='relu', name='C6')(U)
C6 = Concatenate(axis=-1)([gen_C3, C6])
U  = UpSampling1D(size = 2)(C6)
C7 = Conv1D(filters=128, kernel_size=5,  padding='same', activation='relu', name='C7')(U)
C7 = Concatenate(axis=-1)([gen_C2, C7])
U  = UpSampling1D(size = 2)(C7)
C8 = Conv1D(filters=128, kernel_size=5,  padding='same', activation='relu', name='C8')(U)
C8 = Concatenate(axis=-1)([gen_C1, C8])
outputs = Conv1D(filters=642, kernel_size=5,  padding='same', activation='linear')(C8)
# 修改后的解码器仅需要输入潜向量即可
UNet_decoder_only_latent = Model(inputs_decoder, outputs, name='UNet_decoder_only_latent')

重新训练完成后就可以直接输入任意数量的32维潜向量得到输出：

decoder_input = np.random.randn(100, 32) # 100个自定义潜向量
pred_results = UNet_decoder_only_latent.predict(decoder_input)

如果只是临时测试代码可运行，也可以把原有C1-C4的前100个样本切片出来和100个潜向量匹配，不过这种方式生成的结果没有实际业务意义：

decoder_input = np.random.randn(100, 32)
# 取原有2000个样本的前100个C1-C4特征匹配维度
pred_results = UNet_decoder.predict([decoder_input, C1[:100], C2[:100], C3[:100], C4[:100]])

内容的提问来源于stack exchange，提问作者Jitendra Kumar Sharma