非平衡分类数据经重采样等处理后Accuracy指标适用性问询

哪怕你已经对不平衡数据做了重采样、类别权重调整、初始偏置设置这类处理，Accuracy（准确率）在绝大多数场景下依然不适合作为核心评估指标。

核心原因 #

你提到的这三类处理手段，本质都是训练阶段的优化策略调整，目的是避免模型训练时一味偏向多数类、学成「全猜占比最高的类别就能拿最低损失」的偷懒模型，这些操作从始至终都没有改变「模型落地面对的真实业务数据，本身就是类别不平衡的」这个核心事实，自然也解决不了Accuracy本身的问题：

• 重采样（不管是上采样少数类还是下采样多数类）只应该作用在训练集上，验证集、测试集必须保持和真实场景一致的类别分布，否则评估结果完全没有落地参考价值。这时候不平衡的测试集上，Accuracy依然会被多数类的预测结果主导：举个最极端的例子，1000个样本里990个是多数类、10个是少数类，哪怕模型把10个少数类全判错，只要全猜对多数类就能拿到99%的准确率，这个虚高的分数会完全掩盖模型对少数类毫无识别能力的问题。
• 如果你错误地把重采样后的全量数据直接拆分训练集、测试集，这时候算出来的Accuracy从根上就是失真的——测试集分布和真实场景不匹配，哪怕分数再好看，上线碰到真实分布的数据效果会直接跳水。
• 类别权重、初始偏置只是调整了模型训练时的损失计算逻辑和初始参数方向，不会改变测试集的分布特性，自然也解决不了Accuracy被多数类结果绑架的问题。

补充说明 #

只有一种极特殊的场景Accuracy可以作为辅助参考：你已经确认模型在每个类别上的精确率、召回率都达到了业务预设的合格线，且业务上不同类别的错分成本完全对等，这时候可以用Accuracy做个整体效果的快速汇总，但绝对不能把它当成判断模型好坏的核心指标。

更靠谱的评估思路 #

• 涉及不平衡分类的场景，永远先输出混淆矩阵，逐类核对每个类别的识别效果，不要只看单个汇总指标。
• 根据业务的错分成本选核心指标：如果是欺诈识别、重症筛查这类漏判少数类成本极高的场景，优先看少数类的召回率、F1值，或者PR曲线下面积（比ROC-AUC对不平衡数据的敏感度高很多）。
• 多分类不平衡场景优先看宏平均（Macro-averaged）的F1、召回指标，不要用微平均（Micro-averaged）指标——微平均的计算逻辑和Accuracy高度相似，很容易被多数类的效果带偏，掩盖少数类的识别问题。

内容的提问来源于stack exchange，提问作者gracenz