98:2极度不平衡文本分类 F1/ROC AUC/PRC/MCC评估指标如何选择

你当前的数据集正负类占比为98:2，属于极度不平衡场景，所有默认偏向多数类的聚合指标都无法真实反映模型性能，首先给你拆解你给出的指标差异巨大的核心原因：

• 高达0.98+的Accuracy、整体Precision/Recall/F1全部是假象：哪怕模型把所有样本都判定为多数类（类1），准确率就能达到0.98，你当前的指标仅比盲猜高0.0024，几乎没有参考价值，数值高完全是被占比98%的类1的高性能（类1 F1为0.9910）拉高，完全掩盖了占比2%的类0的实际性能。
• 两个ROC AUC数值差异巨大是计算逻辑不同导致的：0.6151是用模型输出的硬分类标签（默认阈值0.5的predict结果）计算的，只能反映单一阈值下的分类效果；0.9902是用predict_proba输出的概率值计算的，遍历了所有可能阈值下的分类表现，这个数值高说明你的模型对两类样本的概率区分能力是合格的，仅默认分类阈值设置不合理。

适配你场景的核心指标优先级 #

1. 首选PRC AUC（精确率召回率曲线下面积） #

ROC AUC在极度不平衡场景下会给出过于乐观的评估结果，因为其假阳率的计算基于全部负样本基数，少数类占比极低时，假阳率的微小波动对应的实际错分样本量可以忽略，无法反映模型对少数类的识别能力。而PRC曲线完全聚焦少数类的精确率和召回率表现，对不平衡场景的敏感度远高于ROC AUC，你当前0.9655的PRC AUC也验证了模型的概率区分能力合格。

2. 次选MCC（马修斯相关系数） #

MCC的本质是预测分类结果和真实标签的皮尔逊相关系数，取值范围在-1到1之间，对类别不平衡极度鲁棒，不会被多数类的高性能带偏，你当前0.6021的MCC和少数类的F1得分一致，真实反映了默认阈值下模型的整体分类性能，没有虚高的问题。

3. 补充参考少数类的单独性能指标 #

不要使用整体加权F1、宏F1等聚合指标，直接统计少数类（类0）的单独Precision、Recall、F1，可以根据你的业务需求灵活调整分类阈值：

• 如果漏判少数类的代价更高（比如风险识别场景漏过风险样本代价大），可以降低分类阈值优先保少数类的召回率
• 如果误判少数类的代价更高（比如营销场景误判目标用户会浪费成本），可以提高分类阈值优先保少数类的精确率

后续优化建议 #

你当前的模型概率区分能力已经达标（概率版ROC AUC、PRC AUC都很高），不需要调整模型结构，只需要根据业务的错漏成本调整分类阈值，再用MCC和少数类F1验证即可得到真实的性能结果。

内容的提问来源于stack exchange，提问作者Zahin Awosaf