TensorFlow/Keras：多序列图像3D输入转指定尺寸2D输出方法咨询

思路1：合并多帧为3D输入，复用序列网络结构 #

把多张序列图像合并成[xdim, ydim, num_inputs]的3D张量（num_inputs为输入图像数量，相当于通道维度），直接用卷积类网络处理，解码器只需调整最后一层的输出通道数即可得到2D目标图像。

实现步骤&代码示例 #

假设输入为灰度图，目标输出也是单通道灰度图：

import tensorflow as tf
from tensorflow.keras import layers, Model

xdim, ydim, num_inputs = 64, 64, 3  # 示例尺寸，根据实际调整

# 编码器
encoder_input = layers.Input(shape=(xdim, ydim, num_inputs))
x = layers.Conv2D(32, (3,3), activation='relu', padding='same')(encoder_input)
x = layers.MaxPooling2D((2,2), padding='same')(x)
x = layers.Conv2D(64, (3,3), activation='relu', padding='same')(x)
encoder_output = layers.MaxPooling2D((2,2), padding='same')(x)

# 解码器
x = layers.Conv2D(64, (3,3), activation='relu', padding='same')(encoder_output)
x = layers.UpSampling2D((2,2))(x)
x = layers.Conv2D(32, (3,3), activation='relu', padding='same')(x)
x = layers.UpSampling2D((2,2))(x)
# 最后一层输出单通道2D图像，padding='same'保证尺寸与输入一致
decoder_output = layers.Conv2D(1, (3,3), activation='sigmoid', padding='same')(x)

# 构建模型
model = Model(encoder_input, decoder_output)
model.compile(optimizer='adam', loss='mse')

# 训练时，输入是形状为(batch_size, xdim, ydim, num_inputs)的张量
# 目标输出是形状为(batch_size, xdim, ydim, 1)的下一张图像，可通过squeeze转为(batch_size, xdim, ydim)

关键说明：

• 合并后的输入把多帧图像作为额外通道，卷积层可以自然提取跨帧的空间+序列特征
• 解码器最后用Conv2D(1, ...)输出单通道张量，通过padding='same'确保输出尺寸和输入的xdim, ydim完全匹配
• 如果是RGB图像，把最后一层的通道数改为3即可

思路2：多输入独立编码，拼接特征后解码 #

为每张输入图像单独搭建编码器（可共享权重避免参数冗余），将所有编码器输出的特征拼接后送入解码器，最终输出目标尺寸的2D图像。

实现步骤&代码示例 #

同样以灰度图为例，这里采用共享编码器权重的方式（若需要独立编码，去掉权重共享即可）：

import tensorflow as tf
from tensorflow.keras import layers, Model

xdim, ydim, num_inputs = 64, 64, 3

# 定义共享编码器模块
def build_encoder():
    input_layer = layers.Input(shape=(xdim, ydim, 1))
    x = layers.Conv2D(32, (3,3), activation='relu', padding='same')(input_layer)
    x = layers.MaxPooling2D((2,2), padding='same')(x)
    x = layers.Conv2D(64, (3,3), activation='relu', padding='same')(x)
    output = layers.MaxPooling2D((2,2), padding='same')(x)
    return Model(input_layer, output)

# 创建共享编码器实例
shared_encoder = build_encoder()

# 构建多输入层
input_layers = [layers.Input(shape=(xdim, ydim, 1)) for _ in range(num_inputs)]
# 每张输入图像通过共享编码器得到特征
encoder_features = [shared_encoder(input_layer) for input_layer in input_layers]

# 拼接所有特征（可选择在通道维度或空间维度拼接，这里用通道维度）
concatenated_features = layers.concatenate(encoder_features, axis=-1)

# 解码器
x = layers.Conv2D(64*num_inputs, (3,3), activation='relu', padding='same')(concatenated_features)
x = layers.UpSampling2D((2,2))(x)
x = layers.Conv2D(32, (3,3), activation='relu', padding='same')(x)
x = layers.UpSampling2D((2,2))(x)
decoder_output = layers.Conv2D(1, (3,3), activation='sigmoid', padding='same')(x)

# 构建多输入模型
model = Model(input_layers, decoder_output)
model.compile(optimizer='adam', loss='mse')

# 训练时，输入是一个列表，每个元素是形状为(batch_size, xdim, ydim, 1)的单帧图像
# 目标输出是形状为(batch_size, xdim, ydim, 1)的下一张图像

关键说明：

• 共享编码器权重可以大幅减少模型参数，同时保证所有输入帧用相同的特征提取逻辑
• 特征拼接时，若编码器输出是特征图，优先在通道维度（axis=-1）拼接，避免破坏空间结构
• 解码器的第一层通道数可根据拼接后的特征维度调整，保证特征能被有效还原

内容的提问来源于stack exchange，提问作者A.C. Feltham