基于InceptionV3+GRU的视频分类输入维度不兼容问题求助

核心问题：输入维度不匹配 #

错误提示明确说明模型期望输入形状为 (None, 30, 224, 224, 3)，但实际输入是 (30, 224, 224, 3)。这里的None代表batch维度，本质问题是你把所有视频的帧平铺成了4D数组（总帧数，高，宽，通道），但模型需要的是按视频分组的5D数组（视频数量，单视频帧数，高，宽，通道）。

你的数据集是122个视频，每个30帧，总帧数3660，所以正确的输入形状应该是(122, 30, 224, 224, 3)。

步骤1：调整输入数据形状 #

在预处理后，把平铺的帧数组重新整形为按视频分组的结构：

# 把4D帧数组重塑为5D（视频数，每视频帧数，高，宽，通道）
preprocessed_frames = preprocessed_frames.reshape(sample, num_frames, IMG_SIZE, IMG_SIZE, 3)

步骤2：同步调整标签数据 #

当前你的标签是3660个帧级标签，但模型当前的输出是每个视频对应一个分类结果（第二层GRU没有return_sequences=True，最后Dense输出形状为(None,1)）。这里需要根据你的任务目标调整：

情况A：视频级分类（每个视频一个标签） #

如果任务是判断整个视频属于哪一类，需要把帧级标签转换成视频级标签。比如取每个视频30帧标签的多数投票，或者你原本就有视频级标签，只是误生成了帧级标签：

import numpy as np

# 示例：把帧级标签重塑为(122,30)，然后取每个视频的多数标签
label_list = label_list.reshape(sample, num_frames)
# 假设标签是0/1，取每个视频中出现次数多的标签
video_labels = [max(set(video_label), key=video_label.tolist().count) for video_label in label_list]
video_labels = np.array(video_labels)

情况B：帧级分类（每个帧对应一个标签） #

如果需要对每个帧进行分类，需要修改模型结构，让GRU返回序列，并给每个帧添加分类输出：

# 修改GRU和输出层
model = tf.keras.Sequential()
model.add(tf.keras.layers.TimeDistributed(inception_model, input_shape=(num_frames, IMG_SIZE, IMG_SIZE, 3)))
model.add(tf.keras.layers.Masking(mask_value=0.0))
num_elements = 5 * 5 * 2048
model.add(tf.keras.layers.Reshape((num_frames, num_elements)))
model.add(tf.keras.layers.GRU(units=16, return_sequences=True))
model.add(tf.keras.layers.GRU(units=8, return_sequences=True))  # 添加return_sequences=True
model.add(tf.keras.layers.Dropout(0.4))
model.add(tf.keras.layers.TimeDistributed(Dense(units=8, activation='relu')))  # 用TimeDistributed包裹
model.add(tf.keras.layers.TimeDistributed(Dense(units=1, activation='sigmoid')))  # 每个帧输出一个结果

model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])

同时标签保持帧级的(3660,1)，但需要重塑为(122,30,1)：

label_list = label_list.reshape(sample, num_frames, 1)

额外优化建议 #

• 冻结InceptionV3的预训练层：如果你的数据集较小，建议先冻结特征提取器的权重，避免过拟合：

  inception_model.trainable = False
  

  后续可以根据训练效果再解冻部分层进行微调。
• 检查Masking层的必要性：如果你的视频帧没有缺失（每个视频都是完整30帧），Masking层可以去掉，减少计算开销。

内容的提问来源于stack exchange，提问作者ABIR HASSAN