如何拆分卷积自编码器？求助编码器与解码器分离方案

嘿，我太懂你这种困扰了——之前拆全连接自编码器顺风顺水，换成带卷积/池化的就卡壳在解码器上，对吧？别慌，咱们来捋清楚问题出在哪，然后一步步搞定它。

为什么解码器拆分容易失败？ #

你能成功拆分编码器，是因为编码器的输入就是原自编码器的输入，输出是encoded层，直接用Model(input_img, encoded)就能生成独立模型。但解码器不一样：它的输入不再是原模型里的encoded张量（那属于原模型计算图的一部分，没法直接作为独立模型的输入），你得重新定义一个独立的输入张量，再把原自编码器里解码器的层“嫁接”到这个新输入上，还要保证输入形状和编码器的输出完全匹配。

具体解决步骤（以Keras为例） #

假设你的自编码器结构大概是这样（带卷积的典型例子）：

from keras.layers import Input, Conv2D, MaxPooling2D, UpSampling2D
from keras.models import Model

# 编码器部分
input_img = Input(shape=(28, 28, 1))  # 假设是MNIST图片
x = Conv2D(16, (3, 3), activation='relu', padding='same')(input_img)
x = MaxPooling2D((2, 2), padding='same')(x)
x = Conv2D(8, (3, 3), activation='relu', padding='same')(x)
x = MaxPooling2D((2, 2), padding='same')(x)
x = Conv2D(8, (3, 3), activation='relu', padding='same')(x)
encoded = MaxPooling2D((2, 2), padding='same')(x)  # 编码器输出层

# 解码器部分
x = Conv2D(8, (3, 3), activation='relu', padding='same')(encoded)
x = UpSampling2D((2, 2))(x)
x = Conv2D(8, (3, 3), activation='relu', padding='same')(x)
x = UpSampling2D((2, 2))(x)
x = Conv2D(16, (3, 3), activation='relu')(x)
x = UpSampling2D((2, 2))(x)
decoded = Conv2D(1, (3, 3), activation='sigmoid', padding='same')(x)

# 构建完整自编码器
autoencoder = Model(input_img, decoded)
autoencoder.compile(optimizer='adam', loss='binary_crossentropy')
# 已完成训练...

第一步：确认编码器输出形状 #

先把你已经成功创建的编码器拿过来，获取它的输出形状（去掉batch维度）：

encoder = Model(input_img, encoded)
# 获取编码器输出的形状（比如(3,3,8)，对应MNIST例子）
encoder_output_shape = encoder.output_shape[1:]  # 去掉第一个batch维度(None,)

第二步：重新构建解码器（复用原训练好的权重） #

这里有两种稳妥的方式：

方式一：按层索引调用（适合没给层命名的情况）

先数清楚原自编码器中，从encoded层之后的第一个层开始，到输出层decoded的所有层的索引。比如上面的例子里，autoencoder.layers列表中：

• encoded是第6层（索引从0开始）
• 解码器的第一个层是第7层，最后一层（decoded）是第13层

然后创建新的输入张量，依次连接这些层：

# 定义解码器的输入，形状和编码器输出一致
decoder_input = Input(shape=encoder_output_shape)

# 依次连接原自编码器的解码器层
x = autoencoder.layers[7](decoder_input)
x = autoencoder.layers[8](x)
x = autoencoder.layers[9](x)
x = autoencoder.layers[10](x)
x = autoencoder.layers[11](x)
x = autoencoder.layers[12](x)
decoder_output = autoencoder.layers[13](x)

# 创建解码器模型
decoder = Model(decoder_input, decoder_output)

方式二：按层名调用（更清晰，推荐）

如果定义原模型时给解码器的层加上名字，后续维护会更方便：

# 重新定义解码器部分时加名字
x = Conv2D(8, (3, 3), activation='relu', padding='same', name='dec_conv1')(encoded)
x = UpSampling2D((2, 2), name='dec_up1')(x)
x = Conv2D(8, (3, 3), activation='relu', padding='same', name='dec_conv2')(x)
x = UpSampling2D((2, 2), name='dec_up2')(x)
x = Conv2D(16, (3, 3), activation='relu', name='dec_conv3')(x)
x = UpSampling2D((2, 2), name='dec_up3')(x)
decoded = Conv2D(1, (3, 3), activation='sigmoid', padding='same', name='dec_output')(x)

然后构建解码器时直接通过名字获取层：

decoder_input = Input(shape=encoder_output_shape)

x = autoencoder.get_layer('dec_conv1')(decoder_input)
x = autoencoder.get_layer('dec_up1')(x)
x = autoencoder.get_layer('dec_conv2')(x)
x = autoencoder.get_layer('dec_up2')(x)
x = autoencoder.get_layer('dec_conv3')(x)
x = autoencoder.get_layer('dec_up3')(x)
decoder_output = autoencoder.get_layer('dec_output')(x)

decoder = Model(decoder_input, decoder_output)

第三步：测试拆分后的模型 #

现在你就可以用编码器生成编码，手动修改后喂给解码器了：

import numpy as np

# 假设x_test是你的测试图片集
encoded_imgs = encoder.predict(x_test)

# 手动修改编码，比如添加噪声或者调整特征
modified_encoded = encoded_imgs + 0.1 * np.random.normal(size=encoded_imgs.shape)

# 用解码器解码修改后的编码
decoded_imgs = decoder.predict(modified_encoded)

为什么全连接自编码器拆分没问题？ #

全连接层的输入输出形状都是一维的，而且你拆分时可能刚好直接用了新的输入张量，或者原模型的中间张量在全连接场景下没有计算图依赖的问题。但带卷积、池化、上采样的模型，层的输入形状和前一层的输出绑定更紧密，必须重新定义输入才能生成独立的计算图。

内容的提问来源于stack exchange，提问作者MegaNightdude