基于Transformers多分类多标签微调wav2vec2模型的方法问询

• 目标数据处理：完全可以将6个情感标签组合成数组作为训练目标，核心是让模型结构和损失函数适配这种多任务输出模式。

• 模型结构改造：原wav2vec的单分类头无法满足多任务需求，需要在预训练模型顶部添加6个独立的分类分支，每个分支对应一个情感标签的类别数（比如某标签有15类，就用输出维度为15的线性层）。示例代码如下：

from transformers import Wav2Vec2Model
import torch.nn as nn

class MultiTaskWav2Vec2(nn.Module):
    def __init__(self, pretrained_name, task_label_counts):
        super().__init__()
        self.wav2vec = Wav2Vec2Model.from_pretrained(pretrained_name)
        # 为每个情感标签任务创建分类头
        self.task_heads = nn.ModuleList([
            nn.Linear(self.wav2vec.config.hidden_size, count) 
            for count in task_label_counts
        ])
    
    def forward(self, input_values, attention_mask=None):
        outputs = self.wav2vec(input_values, attention_mask=attention_mask)
        # 取序列<CLS>位置的特征作为分类输入
        cls_hidden = outputs.last_hidden_state[:, 0, :]
        # 输出每个任务的预测结果
        return [head(cls_hidden) for head in self.task_heads]

• 损失函数设计：为每个标签任务单独配置交叉熵损失，再将6个损失值加权求和作为总损失（可根据任务重要性调整权重，默认均等权重即可）。示例：

# 假设6个标签的类别数分别是[15,12,10,8,9,15]
task_label_counts = [15,12,10,8,9,15]
model = MultiTaskWav2Vec2("facebook/wav2vec2-base", task_label_counts)

# 初始化每个任务的损失函数
loss_functions = [nn.CrossEntropyLoss() for _ in task_label_counts]

# 训练循环中的损失计算
for batch in train_dataloader:
    input_vals, multi_labels = batch  # multi_labels形状为(batch_size,6)，每个元素是对应标签的类别索引
    task_predictions = model(input_vals)
    
    total_loss = 0.0
    for idx in range(6):
        task_loss = loss_functions[idx](task_predictions[idx], multi_labels[:, idx])
        total_loss += task_loss  # 若需加权，可改为total_loss += task_loss * weight[idx]
    
    total_loss.backward()
    optimizer.step()
    optimizer.zero_grad()

• 数据预处理调整：在数据加载阶段，要将每个样本的6个情感标签都转换为类别索引，打包成数组作为模型的目标输入，确保每个标签的索引范围和对应分类头的输出维度匹配。

• 评估逻辑优化：评估时需对每个标签任务单独计算指标（如准确率、F1值），可以用分类报告工具分别统计每个任务的表现，再综合判断模型效果。

内容的提问来源于stack exchange，提问作者mirix