如何在TensorFlow中为frames可变的输入构建统一分类网络？

嘿，我来帮你搞定这个可变frames的分类器准确率计算和优化问题～

你的输入是[batch, frames, height, width, channel]，其中frames维度动态变化，其他维度固定，还要针对不同frames长度分别做优化和准确率计算，核心思路是先按frames长度分组数据，再针对每组单独处理，下面给你具体的实现步骤和技巧：

1. 按Frames长度分组数据集 #

首先得把你的输入数据按frames的长度做分组，这样才能精准针对每组计算准确率和优化。比如用字典来存储不同frames长度的样本：

# 假设你的数据集是(x, y)的列表，x的shape为[frames, h, w, c]
data_groups = {}
for x, y in dataset:
    frame_count = x.shape[0]
    if frame_count not in data_groups:
        data_groups[frame_count] = []
    data_groups[frame_count].append((x, y))

这样你就能遍历每个frames长度的分组，单独处理啦。

2. 针对每组计算准确率 #

接下来，对每个分组单独做前向传播，对比预测结果和标签得到准确率，这里的score就对应每个分组的准确率值：

accuracy_scores = {}  # 这个就是你要的score变量，key是frames长度，value是对应准确率
for frame_len, group_samples in data_groups.items():
    # 把组内样本打包成batch（组内每个样本的frames长度一致，直接堆叠即可）
    batch_x = np.stack([sample_x for sample_x, sample_y in group_samples])
    batch_y = np.array([sample_y for sample_x, sample_y in group_samples])
    
    # 前向传播得到预测结果（你的model包含rnn_layer和Dense层）
    predictions = model(batch_x)
    
    # 计算该组的准确率
    correct_predictions = np.sum(np.argmax(predictions, axis=1) == batch_y)
    accuracy = correct_predictions / len(group_samples)
    accuracy_scores[frame_len] = accuracy
    print(f"Frames长度为{frame_len}时，准确率: {accuracy:.4f}")

3. 针对不同Frames的针对性优化 #

如果要给不同frames长度的样本做差异化优化（比如调整学习率、训练轮数），可以在训练阶段也按分组来处理：

# 定义优化器和损失函数
optimizer = tf.keras.optimizers.Adam()
loss_fn = tf.keras.losses.SparseCategoricalCrossentropy()

for frame_len, group_samples in data_groups.items():
    # 给不同frames长度设置不同学习率（示例：短序列用小学习率，长序列用大一点的）
    if frame_len < 10:
        optimizer.learning_rate.assign(1e-4)
    else:
        optimizer.learning_rate.assign(5e-4)
    
    # 组内逐个样本训练（也可以改成组内小batch训练）
    for x, y in group_samples:
        x = np.expand_dims(x, axis=0)  # 转成[1, frame_len, h, w, c]的单样本batch
        y = np.array([y])
        with tf.GradientTape() as tape:
            pred = model(x)
            loss = loss_fn(y, pred)
        # 计算梯度并更新参数
        grads = tape.gradient(loss, model.trainable_variables)
        optimizer.apply_gradients(zip(grads, model.trainable_variables))
    
    # 训练完该组后，重复前面的步骤计算准确率即可

关键注意点 #

• 确保你的rnn_layer()是无状态的，或者在处理每个分组前重置RNN状态！比如用TensorFlow的RNN时，要么设置return_state=False，要么在处理新分组前调用model.reset_states()，避免前一组的状态干扰当前组的计算。
• 如果你的batch中混合了不同frames长度的样本（不是分组输入），那需要用Masking层标记无效填充数据，但既然你要针对不同frames分别优化，分组处理会更直接高效。

内容的提问来源于stack exchange，提问作者Beginner