使用Kvasir数据集构建CNN-LSTM模型时遇维度不兼容错误求助

问题根源 #

TimeDistributed层的作用是对时间步维度上的每个样本单独应用包裹的层（比如Conv2D），因此它要求输入必须包含时间步维度，即形状为 (batch_size, timesteps, height, width, channels)。而你通过image_dataset_from_directory得到的BatchDataset输出形状是 (batch_size, 224, 224, 3)，缺少了timesteps这一维，导致被TimeDistributed包裹的Conv2D层接收到的输入是(None, 224, 3)（把原输入的第二维当成了时间步，剩下的维度不符合Conv2D要求的4维输入）。

解决方案 #

1. 给数据集添加时间步维度

根据你的任务需求选择以下两种方式：

• 方式一：构建图像序列（适合时序任务）
  如果你的任务需要处理连续的图像序列（比如视频帧序列），可以将数据集转换为序列形式，每seq_length张图像作为一个时间步样本：

  import tensorflow as tf
  
  def create_image_sequences(raw_ds, seq_length, batch_size):
      sequences = []
      labels = []
      temp_sequence = []
      current_label = None
  
      # 先解批数据集，逐张处理图像
      for img, label in raw_ds.unbatch():
          temp_sequence.append(img)
          current_label = label
          # 当序列长度达标时，保存序列和标签
          if len(temp_sequence) == seq_length:
              sequences.append(tf.stack(temp_sequence))
              labels.append(current_label)
              temp_sequence = []
  
      # 将序列转换为BatchDataset
      sequence_ds = tf.data.Dataset.from_tensor_slices((sequences, labels))
      return sequence_ds.batch(batch_size).prefetch(tf.data.AUTOTUNE)
  

  调用示例（比如设置每个序列包含5张图像）：

  seq_ds = create_image_sequences(your_raw_ds, seq_length=5, batch_size=32)
  

  处理后数据集的输出形状为 (32, 5, 224, 224, 3)，符合TimeDistributed层的要求。

• 方式二：单时间步适配（仅为兼容模型结构）
  如果你的任务不需要时序序列，只是想复用CNN-LSTM结构，可以给每个样本手动增加一个时间步维度（相当于每个样本是长度为1的序列）：

  ds = ds.map(lambda x, y: (tf.expand_dims(x, axis=1), y))
  

  处理后输入形状变为 (batch_size, 1, 224, 224, 3)，TimeDistributed层会正确将每个时间步（这里是1个）的图像传入Conv2D层。

2. 匹配模型输入形状定义

确保模型的输入层明确指定包含时间步维度，示例结构：

from tensorflow.keras import Input, Model
from tensorflow.keras.layers import TimeDistributed, Conv2D, MaxPooling2D, Flatten, LSTM, Dense

# 假设seq_length是你设置的序列长度（比如5或1）
input_layer = Input(shape=(seq_length, 224, 224, 3))

# 用TimeDistributed包裹CNN组件
x = TimeDistributed(Conv2D(32, (3,3), activation='relu'))(input_layer)
x = TimeDistributed(MaxPooling2D((2,2)))(x)
x = TimeDistributed(Flatten())(x)

# 接入LSTM层
x = LSTM(64)(x)

# 输出层
output_layer = Dense(num_classes, activation='softmax')(x)

model = Model(inputs=input_layer, outputs=output_layer)

3. 验证数据集形状

处理后可以通过以下代码确认数据集的输出形状是否符合要求：

for batch in seq_ds.take(1):
    print("输入形状:", batch[0].shape)
    # 预期输出类似 (32, 5, 224, 224, 3) 或 (32, 1, 224, 224, 3)

内容的提问来源于stack exchange，提问作者Mustafa Tokat