CNN自编码器解码器输出与编码器输入形状不匹配如何解决

你的解码器最终输出尺寸为(256, 416, 2)，和输入尺寸(200, 800, 2)不匹配，本质是6次2倍最大池化的总下采样倍率为64，而200、800都无法被64整除：遇到奇数尺寸时padding='same'的池化层会自动补零，输出尺寸向上取整，最终得到的瓶颈特征图(4,13,4)经过6次2倍上采样后，无法还原到原始输入尺寸。

• 优先推荐调整下采样/上采样总倍率，保证输入尺寸能被总倍率整除：200和800的公约数包含2、4、8、25等，选总下采样倍率为8（即3次2倍池化）时，3次池化后特征图尺寸为(25, 100, c)，对应3次2倍上采样后刚好得到(200, 800, 2)，完全匹配输入尺寸。参考调整后的编码器结构：

input_img = Input(shape=(200, 800, 2))
# 编码器：3次池化总下采样8倍
x = Conv2D(16, (3, 3), activation='tanh', padding='same')(input_img)
x = MaxPooling2D((2, 2), padding='same')(x) # 输出(100, 400, 16)
x = Conv2D(32, (3, 3), activation='tanh', padding='same')(x)
x = MaxPooling2D((2, 2), padding='same')(x) # 输出(50, 200, 32)
x = Conv2D(64, (3, 3), activation='tanh', padding='same')(x)
x = MaxPooling2D((2, 2), padding='same')(x) # 输出(25, 100, 64)
x = Flatten()(x)
encoded = Dense(2,activation='tanh')(x)

解码器对应保留3次2倍上采样即可，两个分支结构对称，最后相加的输出尺寸会和输入完全一致，不需要额外修改卷积层参数。

• 如果你一定要保留6层池化的深度，可以在解码器最后加裁剪+补零层：高维从256裁剪到200，宽维从416补零到800，但这种方式会丢失高维边缘信息，宽维补零区域没有有效特征，训练效果会打折扣，不推荐。
• 也可以把所有MaxPooling2D替换为步长2的卷积层，UpSampling2D替换为转置卷积（Conv2DTranspose），手动指定每一层的输出尺寸，强制编码器和解码器对应层尺寸对称，也能解决匹配问题。

调整输入尺寸完全可行，是工程上成本最低的方案，只要处理得当几乎不会影响数据质量：

• 如果你保留6次池化（总倍率64），只需要把输入处理为64的整数倍尺寸即可：可以直接将输入resize到(256, 768)（均为64的整数倍），宽高拉伸比例极小，对数据特征的影响可以忽略；
• 如果不允许图像拉伸，可以用反射填充（镜像边缘像素）把200的高度补到256、800的宽度补到832（均为64的整数倍），推理时把输出对应填充的边缘区域裁掉即可，完全不会损失原始数据的有效信息。

内容的提问来源于stack exchange，提问作者Mark Nguyen