基于BERT的多分类文本分类是否需处理同分布下的类别不平衡问题

既不要直接用欠采样/过采样把训练集硬拉成完全类别均衡，也不能完全放任严重类别不平衡不管直接训练。训练分布和生产真实分布对齐是工业界模型落地的核心原则，但要避免模型被高频类“绑架”，完全学不到低频类的有效特征，最终方案完全取决于你的业务目标和错分代价。

• 先明确业务的错分代价和评估标准，再匹配对应方案：
  • 如果所有类别的错分代价完全一致，业务只追求整体预测准确率最高：完全不需要做全局类别平衡调整，直接用原始分布的数据集训练即可。这种场景下模型偏向高频类本身就是符合生产规律的最优决策——毕竟生产环境里绝大多数样本本来就属于高频类，直接猜高频类的期望准确率本来就是最高的，强行平衡数据集反而会拉低整体效果。
  • 如果业务对低频类的识别效果有要求，比如低频类是高风险违规内容、错判漏判代价极高，或者要求每个类别的精度、召回都达到最低可用阈值：不要直接改动全量训练集的整体分布，优先选下面几种不破坏全局分布一致性的方案：
    • 给交叉熵损失加类权重：在BERT训练的损失计算环节，按类别样本量的倒数给低频类设置更高的错分惩罚权重，不需要改动原始训练数据，实现成本最低，也是工业界最常用的方案。
    • 调整Dataloader的采样逻辑：不要用完全随机采样，构造训练batch时保证每个batch里包含固定比例的低频类样本，整个epoch迭代完仍然会覆盖全部训练样本（包括所有高频类样本），既不会丢失高频类的特征信息，也能保证模型每轮训练都能学到低频类的特征，比全局过采样/欠采样稳妥得多。
    • 两阶段微调：第一阶段用采样得到的均衡小数据集（欠采样部分高频类、配合少量过采样的低频类）只微调BERT的分类头，让模型先建立所有类别的基础决策边界；第二阶段换回原始全量分布的数据集微调整个BERT模型，把决策边界对齐回真实生产分布，兼顾低频类学习效果和分布一致性。
• 几个必须避开的常见坑：
  • 不要随机丢高频类样本做欠采样：会直接丢失高频类的细粒度特征，哪怕训练集整体分布和生产接近，模型对高频类的识别精度也会明显下降。
  • 不要简单复制低频类样本做朴素过采样：极容易导致模型对低频类过拟合，学到复制样本的个别噪声而非通用特征，上线后遇到没见过的低频类样本识别效果会非常差。
  • 不要脱离生产分布选评估指标：不管用了什么不平衡处理方案，测试集一定要用和生产真实分布一致的样本，不要用均衡测试集测效果；除了整体准确率，一定要单独看每个类别的F1、召回率，重点关注低频类指标是否达标，同时用生产类占比算加权F1，保证整体效果不滑坡。

• 基础理论可以看综述论文A Survey of Predictive Modelling under Imbalanced Distributions，里面专门区分了“训练分布和生产分布一致”“训练采样存在偏差”两种不同的不平衡场景，对应不同的处理逻辑，不会笼统要求必须平衡数据集。
• 实践层面可以参考各大厂公开的BERT文本分类落地复盘，针对生产环境本身存在类别不平衡的场景，绝大多数团队都不会直接修改全量训练集的分布，损失加权、batch内采样是落地最多的方案。
• 最靠谱的验证方式是做对照实验：把原始分布直接训练、加类权重训练、两阶段微调这几个方案都跑一遍，在和生产同分布的测试集上测符合你业务要求的指标，效果最优的就是最适合你场景的方案，不要硬套通用理论。

内容的提问来源于stack exchange，提问作者fam