TensorFlow中连接卷积层与Dense层实现自编码器2维瓶颈层方法

卷积层输出为4维张量（batch维度、特征图高度、特征图宽度、通道数），直接衔接Dense层、Flatten/Reshape操作报错的核心原因是张量维度未对称对齐，按照以下流程即可实现2单元潜在空间的搭建：

实现步骤 #

• 编码器端：完成所有卷积特征提取操作后，先记录最后一层卷积的输出特征图形状，再通过Flatten层把4维特征图展平为1维向量，最后接2单元的Dense层作为瓶颈，输出[x,y]格式的2维潜在点
• 解码器端：拿到2维潜在向量后，先通过Dense层把向量维度映射到和之前展平的特征图总元素数一致，再通过Reshape层把1维向量还原为卷积层可接收的4维特征图格式，后续再接常规的卷积/上采样层完成图像重建即可

可直接复用的代码示例 #

对应原有代码片段的修正版本如下：

from tensorflow.keras import backend as K

# 原有编码器卷积层保持不变
encoded = Conv2D(8, (3, 3), activation='relu', padding='same')(encoded)

# 记录卷积输出的特征图形状，供解码器还原维度使用
conv_feature_shape = K.int_shape(encoded)
# 展平卷积特征
encoded = Flatten()(encoded)
# 2单元瓶颈层，线性激活，输出2维潜在表示
bottleneck = Dense(2, activation='linear')(encoded)

# 解码器入口：先把2维向量映射回卷积特征对应的总维度
decoded = Dense(conv_feature_shape[1] * conv_feature_shape[2] * conv_feature_shape[3], activation='relu')(bottleneck)
# 还原为4维特征图张量
decoded = Reshape((conv_feature_shape[1], conv_feature_shape[2], conv_feature_shape[3]))(decoded)

# 原有解码器卷积层保持不变
decoded = Conv2D(8, (3, 3), activation='relu', padding='same')(decoded)

注意事项 #

• Reshape传入的形状参数不要包含batch维度，只需要传入特征图高度、宽度、通道数三个值即可
• 2维瓶颈的维度压缩率极高，训练时损失下降速度会比高维瓶颈慢，可适当增加前置卷积层的通道数、延长训练轮次，保证重建效果稳定
• 不要跳过解码器入口的Dense层直接Reshape 2维向量，否则特征维度不足会直接报错，也无法学到有效的流形表示

内容的提问来源于stack exchange，提问作者Luís Henrique Bandória