Data2Vec多模态特征输入分类模型的维度适配问题求助

问题背景 #

使用Hugging Face Hub的Data2Vec提取三模态特征，得到的张量形状为：

• 文本：[1, 768]
• 音频：[1, 499, 768]
• 图像：[1, 197, 768]

将特征传入自定义分类模型训练时，连续出现维度相关错误：

1. 直接通过Dataset→Dataloader喂入模型：RuntimeError: running_mean should contain 197 elements not 1024
2. 模型内添加均值池化层适配维度：ValueError: expected 2D or 3D input (got 4D input)
3. Dataset类中提前执行均值池化：RuntimeError: running_mean should contain 1 elements not 1024

核心原因分析 #

1. 模型初始化参数与实际特征不匹配：原模型input_embedding_A（图像）、input_embedding_B（文本）、input_embedding_C（音频）的预设值与实际特征维度768不符，导致线性层输入维度错位，引发BatchNorm计算混乱。
2. 序列特征未做维度压缩：图像、音频特征是带序列维度的3D张量（[B, seq_len, feat_dim]），直接输入线性层会被误解为错误格式，导致BatchNorm1d的归一化维度判断偏差。
3. BatchNorm1d的维度理解偏差：PyTorch中nn.BatchNorm1d(num_features)要求输入为(N, C)或(N, C, L)格式，num_features对应输入的第二维（C），若输入格式错误会触发running_mean维度不匹配。

解决方案 #

1. 修正模型初始化的输入维度参数 #

将模型初始化时的输入特征维度改为实际的768：

model = Speaker_Dependent_Triple_Mode_with_Context(
    input_embedding_A=768,  # 图像特征维度
    input_embedding_B=768,  # 文本特征维度
    input_embedding_C=768,  # 音频特征维度
    n_speaker=24,
    shared_embedding=1024,
    projection_embedding=512,
    dropout=0.5,
    num_classes=5
)

2. 在模型forward方法中处理序列特征 #

对图像、音频的序列特征做均值池化，将3D张量压缩为2D张量（[B, feat_dim]），确保输入线性层的格式正确：
修改模型的forward方法，在特征投影前添加池化逻辑：

def forward(self, uA, cA, uB, cB, uC, cC, speaker_embedding):
    # 压缩图像序列维度：[B, 197, 768] → [B, 768]
    uA = torch.mean(uA, dim=1)
    cA = torch.mean(cA, dim=1)
    # 压缩音频序列维度：[B, 499, 768] → [B, 768]
    uC = torch.mean(uC, dim=1)
    cC = torch.mean(cC, dim=1)
    # 文本特征已为2D张量，无需处理

    # 原特征投影及后续逻辑保持不变
    shared_A_context = self.norm_A_context(
        nn.functional.relu(self.A_context_share(cA)))
    shared_A_utterance = self.norm_A_utterance(
        nn.functional.relu(self.A_utterance_share(uA)))

    shared_C_context = self.norm_C_context(
        nn.functional.relu(self.C_context_share(cC)))
    shared_C_utterance = self.norm_C_utterance(
        nn.functional.relu(self.C_utterance_share(uC)))

    shared_B_context = self.norm_B_context(
        nn.functional.relu(self.B_context_share(cB)))
    shared_B_utterance = self.norm_B_utterance(
        nn.functional.relu(self.B_utterance_share(uB)))

    updated_shared_A = shared_A_utterance * self.attention_aggregator(
        shared_A_utterance, shared_A_context, shared_C_context, shared_C_utterance, shared_B_context, shared_B_utterance)
    updated_shared_C = shared_C_utterance * self.attention_aggregator(
        shared_C_utterance, shared_C_context, shared_A_context, shared_A_utterance, shared_B_context, shared_B_utterance)
    updated_shared_B = shared_B_utterance * self.attention_aggregator(
        shared_B_utterance, shared_B_context, shared_A_context, shared_A_utterance, shared_C_context, shared_C_utterance)

    temp = torch.cat((updated_shared_A, updated_shared_C), dim=1)
    input = torch.cat((temp, updated_shared_B), dim=1)

    input = torch.cat((input, speaker_embedding), dim=1)

    return self.pred_module(input)

3. 验证输入格式与BatchNorm兼容性 #

确保经过池化和线性层后的特征形状为(B, C)（B为batch size，C为特征维度），例如shared_A_context的形状应为(B, 1024)，此时nn.BatchNorm1d(1024)可正确计算归一化统计量。

额外排查要点 #

• 若在Dataset中提前池化，需确保池化维度正确：对[1, 197, 768]执行torch.mean(x, dim=1)得到[1, 768]，避免误选dim=0导致维度反转。
• 检查Dataloader的batch_size设置：当batch_size>1时，输入形状为(B, seq_len, feat_dim)，池化后需保持(B, feat_dim)格式与模型匹配。

内容的提问来源于stack exchange，提问作者Patrick Wu