小样本高不平衡多标签新闻标题分类问题求解

问题本质 #

你当前的高准确率具有误导性，核心原因是标签分布极端不平衡+数据集规模过小——测试集大概率缺失大量罕见标签，模型仅靠高频标签的正确预测就拉高了整体准确率，但对低频/罕见标签的泛化能力基本为零。

具体处理方案 #

1. 替换评估指标，摆脱准确率的误导 #

多标签不平衡场景下，准确率完全不具备参考价值，必须改用以下针对性指标：

• 微观/宏观F1分数：微观F1侧重整体样本的分类正确率，宏观F1对所有标签一视同仁，能直接暴露低频标签的表现短板；
• Hamming损失：计算预测标签与真实标签的差异比例，精准反映标签级别的错误率；
• Top-k准确率：结合每条数据关联1-5个标签的特点，评估模型前k（比如k=5）个预测标签中命中真实标签的比例；
• 标签覆盖率：统计模型能够输出的不同标签数量，防止模型只聚焦高频标签输出。

2. 数据层面优化：解决小样本+不平衡问题 #

• 标签重采样：
  • 对高频标签对应的样本进行欠采样，减少其在训练集中的占比，但避免过度删除导致关键信息丢失；
  • 对低频标签对应的样本采用ML-SMOTE（多标签版SMOTE）进行过采样，生成合成的相似新闻标题，补充低频标签的样本量；
• 标签精简与合并：
  • 剔除出现次数极低（比如少于5次）的标签，这类标签在小数据集中几乎无法学到有效特征；
  • 将语义相近的标签合并（比如"科技政策"和"行业监管"可合并为"政策监管"），降低标签空间的复杂度；
• 迁移学习补充特征：
  • 利用BERT、RoBERTa等预训练文本模型进行微调，借助预训练学到的通用语言特征，弥补小数据集的特征不足；
  • 优先选择针对新闻文本优化的预训练模型（如中文新闻版BERT），提升适配性。

3. 模型调整：适配不平衡小样本场景 #

• 优化现有多标签模型：
  • 给ML-KNN中的不同标签设置权重，让模型训练时更关注低频标签；
  • 对OneVsRest/Binary Relevance中的每个二分类器，采用加权交叉熵损失——给低频标签的错误分类赋予更高权重；
• 尝试小样本友好的多标签模型：
  • Label Powerset：将多标签任务转换为标签组合的单标签任务，但需过滤掉出现次数极少的组合，避免过拟合；
  • 注意力机制多标签模型：在文本特征提取后加入注意力层，让模型自动聚焦与标签相关的关键词，提升小样本下的标签预测能力；
• 集成策略增强泛化性：
  • 采用Bagging类集成方法，多次对训练集进行随机采样（强制保留低频标签样本），训练多个子模型后融合结果，降低过拟合风险。

4. 修正测试集构建逻辑 #

• 采用分层采样划分训练集与测试集，确保每个重要标签（出现次数达阈值的）在两个集合中都有分布，避免测试集缺失关键标签；
• 对极罕见标签，若无法在测试集中保留，手动构造少量包含该标签的样本单独验证，评估模型对这类标签的预测能力。

内容的提问来源于stack exchange，提问作者agatha22