SMOTE过采样后，用Accuracy评估不平衡数据集是否合理？

用Accuracy作为SMOTE过采样后不平衡数据集的模型评估指标，基本是错误的选择，更应该优先使用AUROC、精确率-召回率曲线（PR曲线）或PR-AUC、F1分数这类针对不平衡场景优化的指标。

• Accuracy的计算逻辑是(正确预测的样本数)/总样本数，它天然偏向占比高的类别。哪怕你用SMOTE补上了少数类样本，训练后的模型如果依然倾向于预测多数类，在测试集（通常保留原始不平衡分布）上，Accuracy依然会很高，但这完全无法反映模型对少数类的预测能力——而这往往是我们处理不平衡数据的核心目标。
• 举个极端例子：原始数据集99%是负样本，1%是正样本。用SMOTE把正样本补到和负样本数量一致，训练出的模型如果在测试集上还是把所有样本都预测为负，Accuracy能达到99%，但对正样本的识别率为0，这显然是个完全没用的模型，但Accuracy却给出了“优秀”的结果。

• AUROC：衡量的是模型区分正负样本的能力，不受类别分布的直接影响。它关注的是“对于任意一个正样本和负样本，模型给正样本更高分数的概率”，能反映模型的整体排序能力，适合不平衡场景下评估模型的区分度。
• 精确率-召回率（PR）相关指标：
  • 精确率关注“预测为正的样本里真正是正样本的比例”，召回率关注“所有真实正样本里被模型正确识别的比例”，这两个指标直接关联少数类的预测效果——而这正是处理不平衡数据时最关心的部分。
  • PR-AUC是PR曲线下的面积，比AUROC更能体现模型在不平衡数据集上的性能，尤其是当少数类样本极小时，PR曲线的变化会更直观反映模型对少数类的捕捉能力。
• 此外，F1分数（精确率和召回率的调和平均）也是常用指标，能综合反映模型在正负样本上的平衡表现。

只有当你的数据集在测试阶段是完全平衡的（比如过采样不仅用在训练集，也强制让测试集类别分布一致），且你的业务目标确实是追求整体样本的预测正确率，而非关注少数类时，Accuracy才勉强有意义。但这种场景非常罕见，因为测试集通常要保留原始数据的分布来模拟真实业务环境。

内容的提问来源于stack exchange，提问作者Mo Amini