在图像分类CNN模型中添加LSTM层遇到问题求助

原代码核心问题分析 #

• 输入维度不兼容：TimeDistributed包装CNN后，输出形状为(None, 序列长度, SPP输出特征数)，但原代码中LSTM单元数设为10752，既导致参数爆炸，也不符合LSTM对输入维度的要求（LSTM需要输入为(样本数, 序列长度, 特征数)，单元数是隐藏层维度，不是输入特征数）。
• 模型结构冗余：原代码中先定义cnn序列模型，后续又新建model序列，但未正确衔接维度；注释掉的Reshape操作也说明对维度转换逻辑不清晰。
• 输出层激活函数误用：如果是604类的多分类任务，应该用softmax激活，而非sigmoid（sigmoid适用于多标签分类）。

修正后的模型代码 #

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import (Conv2D, MaxPooling2D, TimeDistributed,
                                     LSTM, Dense, Dropout, Flatten)
from tensorflow.keras.layers import SpatialPyramidPooling  # 确保该层已正确导入
import datetime

def create_model():
    time_start = datetime.now()
    number_of_images = 16222

    # 定义CNN特征提取器：输出单帧图像的特征向量
    cnn = Sequential()
    cnn.add(Conv2D(64, kernel_size=(3,3), activation='relu', padding='same', input_shape=(50, 100, 1)))
    cnn.add(Conv2D(64, kernel_size=(3,3), activation='relu', padding='same'))
    cnn.add(MaxPooling2D(pool_size=(2, 2), strides=2))
    cnn.add(Conv2D(128, kernel_size=(3,3), activation='relu', padding='same'))
    cnn.add(Conv2D(128, kernel_size=(3,3), activation='relu', padding='same'))
    cnn.add(MaxPooling2D(pool_size=(2, 2), strides=2))
    cnn.add(Conv2D(256, kernel_size=(3,3), activation='relu', padding='same'))
    cnn.add(Conv2D(256, kernel_size=(3,3), activation='relu', padding='same'))
    cnn.add(MaxPooling2D(pool_size=(2, 2), strides=2))
    cnn.add(Conv2D(512, kernel_size=(3,3), activation='relu', padding='same'))
    cnn.add(Conv2D(512, kernel_size=(3,3), activation='relu', padding='same'))
    cnn.add(MaxPooling2D(pool_size=(2, 2), strides=1))
    
    # SPP输出固定长度的特征向量
    cnn.add(SpatialPyramidPooling([1, 2, 4]))
    # 不需要额外Flatten，SPP已经输出扁平向量

    # 构建时序模型：处理图像序列（比如视频帧序列）
    model = Sequential()
    # 输入形状：(样本数, 序列长度, 图像高度, 图像宽度, 通道数)，None表示序列长度可变
    model.add(TimeDistributed(cnn, input_shape=(None, 50, 100, 1)))
    
    # LSTM层：隐藏单元数设为合理值（比如256/512），根据任务调整
    model.add(LSTM(512, return_sequences=False))  # return_sequences=False表示只输出最后一个时间步的状态
    
    # 分类头
    model.add(Dense(2048, activation='relu'))  # 减少单元数避免过拟合
    model.add(Dropout(0.5))
    model.add(Dense(1024, activation='relu'))
    model.add(Dropout(0.5))
    # 多分类用softmax，多标签用sigmoid，根据你的任务选择
    model.add(Dense(604, activation='softmax'))

    # 可以添加模型编译代码
    # model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
    
    time_end = datetime.now()
    print(f"模型构建耗时: {time_end - time_start}")
    return model

关键调整说明 #

1. LSTM单元数修正：将LSTM单元数从10752改为512（可根据任务调整），避免参数过多导致训练困难和过拟合。
2. 维度衔接：TimeDistributed会将CNN应用到序列的每个图像帧，输出每个帧的特征向量，LSTM直接处理这些特征组成的序列。
3. 输出层适配：根据任务类型切换激活函数，多分类用softmax，配合categorical_crossentropy损失；多标签分类保留sigmoid，配合binary_crossentropy损失。
4. 减少全连接层单元数：原代码中4096单元的全连接层参数过多，调整为2048和1024，降低过拟合风险。

内容的提问来源于stack exchange，提问作者Somayh