使用类别权重时模型预测出现异常互补现象的原因排查

• 类别权重的反向过补偿：你用class_weight='balanced'计算的权重公式为n_samples/(n_classes * n_samples_per_class)，样本量越少的类别权重会被放大得越明显。模型训练时，为了最小化带权重的交叉熵损失，会过度偏向给小众类别更高的预测概率——毕竟错分高权重类别的惩罚远大于大众类别。长此以往，模型会刻意将更多样本预测为小众类别，最终形成和真实分布完全相反的预测结果。

• LSTM层的特征学习偏差：LSTM专注于序列特征提取，但如果不同类别间的输入序列特征辨识度低，再加上权重过补偿的放大效应，模型可能会把通用特征错误映射到小众类别。比如小众类别的样本特征本就和大众类有重叠，高权重又逼着模型优先拟合小众类，结果就是大量大众类样本被误判为小众类。

• 交叉熵损失的权重应用错误：要确认你是否正确将class_weights转换为PyTorch张量，且在nn.CrossEntropyLoss中正确设置了weight参数。如果权重的维度、数据类型或类别顺序和模型输出不匹配（比如用了numpy数组而非torch张量，或者权重顺序和模型输出类别顺序不一致），会导致损失计算逻辑混乱，反而出现反向补偿的效果。

• 极端不平衡的样本分布：500类的分类任务本身类别数量多，若部分类别样本量极少（比如仅几个样本），balanced权重会将这类的权重拉到极高。模型为了避免高惩罚，会尽可能多地预测这类，哪怕无差别地将其他类样本归到此类，最终形成互补的分布。

内容的提问来源于stack exchange，提问作者theodre7