Keras/TensorFlow卷积自编码器潜层定义与编解码器调用报错排查

问题背景 #

参考公开卷积自编码器教程构建模型，采用72×72灰度图像数据集开展训练，已得到可正常收敛训练的完整自编码器模型，但拆分独立编码器、解码器并在自有数据上执行推理时连续触发报错。

原有代码实现 #

卷积/反卷积骨干结构 #

input = Input(shape=(72,72,1))

e_input = Conv2D(32, (3, 3), activation='relu')(input) #70 70 32
e = MaxPooling2D((2, 2))(e_input) #35 35 32
e = Conv2D(64, (3, 3), activation='relu')(e) #33 33 64
e = MaxPooling2D((2, 2))(e) # 16 16 64
e = Conv2D(64, (3, 3), activation='relu')(e) #14 14 64
e = Flatten()(e) # 12544维一维向量
e_output = Dense(324, activation='softmax')(e) # 324维编码特征

d = Reshape((18,18,1))(e_output) #18 18 1
d = Conv2DTranspose(64,(3, 3), strides=2, activation='relu', padding='same')(d) #36 36 64
d = Conv2DTranspose(64,(3, 3), strides=2, activation='relu', padding='same')(d) #72 72 64
d = Conv2DTranspose(64,(3, 3), activation='relu', padding='same')(d) #72 72 64
d_output = Conv2D(1, (3, 3), activation='sigmoid', padding='same')(d) #72 72 1 重构输出

注：原代码注释中第三个卷积输出维度计算有误，3×3卷积无padding时16×16输入输出为14×14，不影响模型训练，仅做标注

原模型拆分代码 #

autoencoder = Model(input, d_output) 
autoencoder.compile(optimizer='adam', loss='binary_crossentropy', metrics=["mae"]) 
encoder = Model(input, e_output) 
encoded_input = Input(shape=(1,1)) 
decoder_layer = autoencoder.layers[-6](encoded_input)
l2 = autoencoder.layers[-5](decoder_layer) 
decoder = Model(encoded_input, l2) 

原推理代码 #

encoded_imgs = encoder.predict(x_train)
decoded_imgs = decoder.predict(encoded_imgs)

其中输入x_train形状为(2433, 72, 72)。

触发报错 #

• 首次运行触发维度不匹配错误：ValueError: Input 0 of layer "model_5" is incompatible with the layer: expected shape=(None, 1, 1), found shape=(None, 324)
• 将encoded_input形状修改为(324,)后，触发新的Dense层错误：ValueError: Exception encountered when calling layer "dense_2" (type Dense).

问题根因 #

拆分逻辑和数据预处理存在三个核心问题：

• 解码器输入维度配置错误：编码器输出经Flatten和Dense层后为二维张量(batch_size, 324)，原代码配置的(1,1)输入形状和编码器输出完全不匹配。
• 解码器层级截取逻辑错误：原代码截取解码段时错误包含了编码器末端的Dense层，相当于对已经完成编码的324维特征重复执行Dense计算，触发维度报错；同时仅串联了2个网络层，未覆盖完整解码结构，即使不报错也无法输出最终重构图像。
• 推理数据缺少通道维度：模型输入要求为(样本数, 72, 72, 1)的灰度图格式，原x_train缺少最后一维通道维度，本身也不符合模型输入要求。

修复方案 #

1. 修正独立解码器构建逻辑 #

解码器输入直接匹配编码器输出的324维特征形状，从Reshape层开始依次串联所有后续解码层直到最终输出层，修正后代码如下：

# 编码器定义保持不变
encoder = Model(inputs=input, outputs=e_output)

# 配置解码器输入，维度匹配编码器输出
encoded_input = Input(shape=(324,))
# 按顺序串联所有解码段层
x = autoencoder.layers[-5](encoded_input) # Reshape层
x = autoencoder.layers[-4](x) # 第一个步长为2的Conv2DTranspose
x = autoencoder.layers[-3](x) # 第二个步长为2的Conv2DTranspose
x = autoencoder.layers[-2](x) # 第三个无步长的Conv2DTranspose
decoder_output = autoencoder.layers[-1](x) # 最终Conv2D输出层
decoder = Model(inputs=encoded_input, outputs=decoder_output)

2. 修正推理阶段数据预处理 #

推理前为灰度图补充通道维度，若未做归一化需同步将像素值缩放至0~1区间（匹配训练时sigmoid输出的数值范围），修正后推理代码如下：

# 补充通道维度，归一化像素值
x_train_input = x_train.reshape(-1, 72, 72, 1).astype("float32") / 255.0
# 执行编码、解码流程
encoded_imgs = encoder.predict(x_train_input)
decoded_imgs = decoder.predict(encoded_imgs)

校验方法 #

修复后可做一致性验证：取同一张测试图分别输入完整自编码器、「编码器+解码器」串联流程，两者输出的重构结果误差在浮点精度范围内完全一致，即说明拆分逻辑正确。

内容的提问来源于stack exchange，提问作者alpined