中文多标签文本分类模型性能优化求助（不含数据集调整）

一、预训练模型选型与微调策略 #

• 更换领域适配预训练模型：放弃通用的bert-base-chinese，改用针对中文电商场景优化的预训练模型（如电商领域微调的BERT、ERNIE 3.0电商版），这类模型对直播电商相关问句的语义理解能力更强，能直接提升模型基础性能。
• 分层微调策略：当前全量微调BERT在小数据集（2000条）下易过拟合。可先冻结BERT前8层参数，仅微调后4层和分类头，训练2-3轮后再解冻所有参数进行全量微调，减少参数更新规模，降低过拟合风险。

二、分类头结构优化 #

• 升级为带归一化的MLP分类头：单层线性层拟合能力不足，可替换为两层感知机配合层归一化，增强模型的非线性拟合能力：

import torch.nn as nn
import torch.nn.functional as F
from transformers import BertModel

class BertMultiLabelCls(nn.Module):
    def __init__(self, hidden_size, class_num, dropout=0.3):
        super(BertMultiLabelCls, self).__init__()
        self.bert = BertModel.from_pretrained("bert-base-chinese")
        # 两层MLP+层归一化
        self.fc1 = nn.Linear(hidden_size, hidden_size // 2)
        self.layer_norm = nn.LayerNorm(hidden_size // 2)
        self.fc2 = nn.Linear(hidden_size // 2, class_num)
        self.drop = nn.Dropout(dropout)

    def forward(self, input_ids, attention_mask, token_type_ids):
        outputs = self.bert(input_ids, attention_mask, token_type_ids)
        cls_feat = self.drop(outputs[1])
        # 两层MLP计算
        x = F.gelu(self.fc1(cls_feat))
        x = self.layer_norm(x)
        x = self.drop(x)
        # 注意：若使用带logits的损失函数，此处不要加sigmoid
        out = F.sigmoid(self.fc2(x))
        return out

使用GELU激活函数替代ReLU，层归一化可稳定训练过程，提升模型泛化性。

• 融合全局语义特征：仅用CLS token特征信息有限，可拼接CLS特征与token均值池化特征，丰富输入分类头的语义信息：

# 在forward函数中替换cls_feat的计算
token_embeddings = outputs[0]
cls_feat = outputs[1]
mean_pool_feat = torch.mean(token_embeddings, dim=1)
concat_feat = torch.cat([cls_feat, mean_pool_feat], dim=1)
cls_feat = self.drop(concat_feat)
# 同时需要修改fc1的输入维度为768*2=1536
self.fc1 = nn.Linear(hidden_size * 2, hidden_size // 2)

三、损失函数适配标签不平衡 #

• 加权BCELoss：针对标签分布不平衡，计算每个标签的权重（权重公式：总样本数 / (标签出现次数 * 类别数)），将权重传入BCELoss，让模型更关注样本稀少的标签：

# 假设已统计出每个标签的出现次数count_list，共13个标签
total_samples = 2000
class_weights = torch.tensor([total_samples / (cnt * 13) for cnt in count_list], dtype=torch.float32)
criterion = nn.BCELoss(weight=class_weights.cuda())

• Focal Loss：进一步降低易分类样本的损失权重，聚焦难分类样本，适合不平衡数据集。自定义实现如下（注意模型输出需去掉sigmoid，使用logits计算）：

class FocalLoss(nn.Module):
    def __init__(self, alpha=0.25, gamma=2, reduction='mean'):
        super().__init__()
        self.alpha = alpha
        self.gamma = gamma
        self.reduction = reduction

    def forward(self, inputs, targets):
        bce_loss = F.binary_cross_entropy_with_logits(inputs, targets, reduction='none')
        pt = torch.exp(-bce_loss)
        focal_loss = self.alpha * (1 - pt) ** self.gamma * bce_loss
        if self.reduction == 'mean':
            return focal_loss.mean()
        elif self.reduction == 'sum':
            return focal_loss.sum()
        return focal_loss

# 模型forward中去掉sigmoid，直接输出logits
out = self.fc2(x)
# 实例化损失函数
criterion = FocalLoss()

四、模型正则化优化 #

• 提高dropout比例：当前dropout为0.1，小数据集下可提升至0.3-0.5，增强模型泛化能力，缓解过拟合。
• 添加梯度裁剪：训练时加入梯度裁剪，防止梯度爆炸，稳定训练过程：

# 反向传播后添加
optimizer.zero_grad()
loss.backward()
torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)
optimizer.step()

内容的提问来源于stack exchange，提问作者tardis blue