如何调整Keras卷积基input_shape以同时处理不同通道双图像输入

你的问题核心是预训练模型（比如InceptionResNetV2）的第一层卷积层默认固定了输入通道数，直接设置input_shape=(299,299,None)无法让模型自动适配不同通道的输入。以下是两种可行的解决方法：

方法一：将单通道图像扩展为3通道（最简单） #

把1通道的图像复制3次，变成和另一张图一致的3通道，就能直接共用同一个conv_base：

conv_base = tf.keras.applications.InceptionResNetV2(
    weights=None, include_top=False, input_shape=(299,299,3)
)
conv_base.trainable = True
# 修正原代码错误：逐个设置层的可训练状态，而非修改整个conv_base的状态
for layer in conv_base.layers[:-20]:
    layer.trainable = False

input_1 = tf.keras.Input(shape=(299, 299, 3))
input_2 = tf.keras.Input(shape=(299, 299, 1))

# 将单通道图像复制为3通道，匹配conv_base的输入要求
input_2_expanded = tf.keras.layers.Lambda(lambda x: tf.repeat(x, repeats=3, axis=-1))(input_2)

x_1 = conv_base(input_1)
x_2 = conv_base(input_2_expanded)

x_1 = tf.keras.layers.GlobalAveragePooling2D()(x_1)
x_2 = tf.keras.layers.GlobalAveragePooling2D()(x_2)
x = tf.keras.layers.Concatenate()([x_1, x_2])
x = tf.keras.layers.Dense(7, activation='softmax')(x)

model = tf.keras.Model(inputs=[input_1, input_2], outputs=x)

方法二：修改ConvBase的第一层卷积层，支持可变输入通道 #

因为你设置了weights=None（从头训练），可以直接替换模型的第一层卷积，让它接受任意通道数的输入：

# 先初始化默认3通道的conv_base
conv_base = tf.keras.applications.InceptionResNetV2(
    weights=None, include_top=False, input_shape=(299,299,3)
)

# 替换第一层卷积，允许输入通道数可变
conv_base.layers[0] = tf.keras.layers.Conv2D(
    filters=32,
    kernel_size=(3,3),
    strides=(2,2),
    padding='valid',
    input_shape=(299,299,None)  # 设置任意输入通道
)
# 重新构建模型，让修改生效
conv_base = tf.keras.Model(inputs=conv_base.input, outputs=conv_base.output)

conv_base.trainable = True
for layer in conv_base.layers[:-20]:
    layer.trainable = False

input_1 = tf.keras.Input(shape=(299, 299, 3))
input_2 = tf.keras.Input(shape=(299, 299, 1))

x_1 = conv_base(input_1)
x_2 = conv_base(input_2)

x_1 = tf.keras.layers.GlobalAveragePooling2D()(x_1)
x_2 = tf.keras.layers.GlobalAveragePooling2D()(x_2)
x = tf.keras.layers.Concatenate()([x_1, x_2])
x = tf.keras.layers.Dense(7, activation='softmax')(x)

model = tf.keras.Model(inputs=[input_1, input_2], outputs=x)

关键提示 #

• 若使用预训练权重（weights='imagenet'），优先选方法一：预训练的第一层权重是针对3通道图像优化的，修改通道数会破坏预训练效果。
• 原代码中存在逻辑错误：遍历层时误将整个conv_base的trainable设为False，需改为逐个设置layer.trainable = False。

内容的提问来源于stack exchange，提问作者Pepeeeee