多标签电子邮件数据集不平衡：LSTM模型偏差解决方法咨询

针对你遇到的多标签邮件分类中低频标签组合导致模型偏向多数类的问题，除了pos_weight，可以试试以下几种实用的平衡技术：

数据层面调整 #

• 单标签维度重采样：别盯着标签组合采样（毕竟低频组合太稀疏），转而针对单个标签处理。对样本量少的标签，收集所有包含该标签的邮件，要么直接复制少量样本做过采样，要么用文本生成的方式造新样本——比如同义词替换、中英文回译（如果是英文邮件），生成和原样本语义相近的新数据；对样本量过大的标签，随机去掉部分包含该标签的邮件做欠采样。这样能直接改善单个标签的分布，间接缓解标签组合的不平衡。
• 低频标签组合处理：如果某些标签组合出现次数极少（比如只有1-2条样本），可以考虑暂时移除这些样本，避免模型被噪声干扰；如果业务允许，也可以把相似的低频组合合并——比如两个组合的标签重叠度超过80%，就归为同一类，提升样本量。

损失函数优化 #

• 多标签版Focal Loss：普通BCEWithLogitsLoss对易分类的高频标签样本权重过高，Focal Loss能降低这些样本的损失占比，强迫模型关注难分类的低频标签。多标签场景下，你可以给每个标签的损失乘以(1 - p_t)^gamma（gamma通常设为2），p_t是模型对该标签的预测概率。可以自己基于PyTorch自定义这个损失函数，实现起来不难。
• 精细化类别加权：比pos_weight更灵活，给每个标签单独计算权重，比如用log(总样本数 / 该标签出现次数)或者总样本数/(该标签出现次数 * 标签总数)来设定权重，把这个权重传入损失函数，让低频标签的损失在总损失中占比更高。

训练策略优化 #

• 分层批量采样：训练时自定义采样器，让每个batch里都包含各个标签的样本，避免某个batch全是高频标签的邮件。比如先把样本按标签分组，每个batch从每个组里抽取固定数量的样本，保证模型每次训练都能接触到低频标签的特征。
• 预训练模型微调：用大规模通用文本预训练模型（比如英文用RoBERTa、中文用BERT）先做预训练，再在你的不平衡数据集上微调。预训练模型已经学到了通用语义特征，能更好地捕捉低频标签对应的文本模式，减少数据不平衡的影响。
• 标签嵌入辅助：把标签也转换成嵌入向量，和文本嵌入一起输入模型，让模型学习标签之间的关联——比如高频标签和低频标签的语义关联，这样模型能借助高频标签的信息来推断低频标签的分类结果。

内容的提问来源于stack exchange，提问作者Boriss Sidjakins