如何将UCF101视频数据输入Keras/TensorFlow RNN？维度不匹配求解

问题核心 #

你当前的错误源于对视频数据结构和RNN输入要求的误解：

• UCF101的每个样本是视频帧序列，而非单张图像，原始数据的完整形状应为 (batch_size, num_frames, 256, 256, 3)（num_frames为视频帧数，不同视频长度不一）
• RNN要求输入为3D张量 (batch_size, timesteps, feature_dim)，而你直接传入了单帧的4D结构 (None, 256, 256, 3)，导致维度不匹配

两种可行解决方案 #

方案1：CNN提取帧特征 + RNN处理序列（推荐用于视频分类） #

视频分类的常规思路是先用CNN提取每帧的高维特征，再用RNN处理帧序列的时序信息。

步骤1：预处理数据集（固定帧数、归一化）

import tensorflow as tf
import tensorflow_datasets as tfds
from tensorflow import keras
from tensorflow.keras import layers

# 加载数据集
(train_ds, test_ds), info = tfds.load('ucf101', split=['train', 'test'], shuffle_files=True, with_info=True)

def preprocess_video(example):
    # 提取视频帧，统一调整为224x224（适配预训练CNN输入）
    video = example['video']
    video = tf.image.resize(video, (224, 224))
    # 归一化像素值到[0,1]
    video = tf.cast(video, tf.float32) / 255.0
    # 固定视频帧数为30（可根据需求调整，短视频补零、长视频裁剪）
    video = tf.ensure_shape(video, (30, 224, 224, 3))
    return video, example['label']

# 应用预处理并设置batch size
train_ds = train_ds.map(preprocess_video).batch(8).prefetch(tf.data.AUTOTUNE)
test_ds = test_ds.map(preprocess_video).batch(8).prefetch(tf.data.AUTOTUNE)

步骤2：构建CNN+RNN模型

# 使用预训练MobileNetV2提取帧特征
cnn_feature_extractor = keras.applications.MobileNetV2(
    input_shape=(224, 224, 3),
    include_top=False,
    pooling='avg'  # 输出每帧的1280维特征向量
)
cnn_feature_extractor.trainable = False  # 先冻结预训练层，后续可微调

model = keras.Sequential([
    layers.Input(shape=(30, 224, 224, 3)),  # 输入为（帧数, 高, 宽, 通道）
    layers.TimeDistributed(cnn_feature_extractor),  # 对每个帧单独应用CNN
    layers.SimpleRNN(128, return_sequences=False),  # 处理帧序列，输出最终时序特征
    layers.Dense(101, activation='softmax')  # 101分类输出
])

model.summary()

方案2：直接展平帧图像作为特征（仅用于测试RNN输入逻辑） #

如果只是验证RNN的输入格式，可直接将每帧图像展平为一维特征向量，忽略空间信息：

model = keras.Sequential([
    layers.Input(shape=(30, 256, 256, 3)),  # 输入为（帧数, 256, 256, 3）
    layers.Reshape((30, 256*256*3)),  # 展平每帧：(30, 256*256*3) → 适配RNN的3D输入要求
    layers.SimpleRNN(128, return_sequences=True),
    layers.SimpleRNN(64),
    layers.Dense(101, activation='softmax')
])

model.summary()

关键说明 #

• 必须明确：RNN的timesteps对应视频的帧数，feature_dim对应每帧的特征维度（要么是CNN提取的向量，要么是展平后的图像像素）
• 不要用图像的空间维度（如256高度）作为timesteps，这不符合视频分类的时序逻辑，会丢失帧间的动作信息

内容的提问来源于stack exchange，提问作者Maxwell