CNN-LSTM模型运行报错：LSTM层输入维度不兼容问题求助

问题背景 #

尝试在维度为(9219, 7, 7, 12)的图像序列上运行CNN-LSTM模型时，出现维度不匹配错误。

模型代码：

model = Sequential()

model.add(Conv1D(32, 4, activation='relu', padding='same', input_shape=(train_x.shape[1], train_x.shape[2], train_x.shape[3])))
model.add(LSTM(32, return_sequences=True))
model.add(MaxPooling1D(2))
model.add(Conv1D(16, 8, activation="relu", padding='same'))
model.add(LSTM(64, return_sequences=True))
model.add(MaxPooling1D(2))
model.add(Conv1D(16, 8, activation="relu", padding='same'))
model.add(LSTM(128))
model.add(Dense(3, activation='sigmoid'))

报错信息：

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-117-d8b5365ec22e> in <cell line: 4>()
      2 
      3 model.add(Conv1D(32, 4, activation='relu', padding='same', input_shape=(train_x.shape[1], train_x.shape[2], train_x.shape[3])))
----> 4 model.add(LSTM(32, return_sequences=True))
      5 model.add(MaxPooling1D(2))
      6 model.add(Conv1D(16, 8, activation="relu", padding='same'))

2 frames
/usr/local/lib/python3.10/dist-packages/keras/engine/input_spec.py in assert_input_compatibility(input_spec, inputs, layer_name)
    233             ndim = shape.rank
    234             if ndim != spec.ndim:
--> 235                 raise ValueError(
    236                     f'Input {input_index} of layer "{layer_name}" '
    237                     "is incompatible with the layer: "

ValueError: Input 0 of layer "lstm_32" is incompatible with the layer: expected ndim=3, found ndim=4. Full shape received: (None, 7, 7, 32)

错误原因 #

• Conv1D层接收输入shape(7,7,12)后，输出为4维张量(None,7,7,32)，而LSTM层要求输入必须是3维张量：(样本数, 时间步长, 特征数)，维度不匹配导致报错。
• 你的输入数据(9219,7,7,12)中，9219是样本数，剩余三维的核心矛盾在于：Conv1D保留了空间维度，但LSTM无法直接处理4维输入。

解决方案 #

根据数据的实际含义，选择以下两种调整方式：

方案1：合并维度适配LSTM输入 #

在Conv1D后添加Reshape层，将4维输出转为3维，把空间维度与特征维度合并，让LSTM以第一个维度作为时间步长：

from keras.models import Sequential
from keras.layers import Conv1D, LSTM, MaxPooling1D, Dense, Reshape

model = Sequential()

# 输入shape对应(时间步长, 空间维度, 通道数)
model.add(Conv1D(32, 4, activation='relu', padding='same', input_shape=(7,7,12)))
# 将(7,7,32)转为(7, 7*32)，即(时间步长, 合并后的特征数)
model.add(Reshape((7, 7*32)))
model.add(LSTM(32, return_sequences=True))
model.add(MaxPooling1D(2))
model.add(Conv1D(16, 8, activation="relu", padding='same'))
# 再次调整维度适配LSTM
model.add(Reshape((4, 4*16)))
model.add(LSTM(64, return_sequences=True))
model.add(MaxPooling1D(2))
model.add(Conv1D(16, 8, activation="relu", padding='same'))
model.add(Reshape((2, 2*16)))
model.add(LSTM(128))
model.add(Dense(3, activation='sigmoid'))

方案2：用TimeDistributed+Conv2D处理图像序列 #

如果数据含义是每个样本包含7张7×12的图像（维度对应(样本数, 序列长度, 图像高, 图像宽)），用TimeDistributed包裹Conv2D对每张图像单独做二维卷积，展平后再输入LSTM：

from keras.models import Sequential
from keras.layers import TimeDistributed, Conv2D, MaxPooling2D, Flatten, LSTM, Dense

model = Sequential()

# 对序列中每张图像单独执行二维卷积
model.add(TimeDistributed(Conv2D(32, (3,3), activation='relu', padding='same'), 
                          input_shape=(7,7,12)))
model.add(TimeDistributed(MaxPooling2D((2,2))))
model.add(TimeDistributed(Flatten()))  # 展平单张图像的特征
# 此时输出为3维张量，符合LSTM输入要求
model.add(LSTM(32, return_sequences=True))
model.add(LSTM(64, return_sequences=True))
model.add(LSTM(128))
model.add(Dense(3, activation='sigmoid'))

注意事项 #

• 先明确输入数据的维度含义：哪个是序列长度（时间步），哪个是图像的空间维度，这是选择方案的核心依据。
• 方案1中，每次Conv1D和MaxPooling1D后都需要调整维度，确保输入LSTM时为3维。

内容的提问来源于stack exchange，提问作者Hadi Emami