不平衡数据二分类模型选择：能否以PR-curve AUC替代F1-score？

完全可以以PR-curve AUC更高为依据选择后者，尤其是在极不平衡二分类的场景下，理由如下：

• PR AUC在不平衡任务中的天然优势：极不平衡数据中，ROC曲线容易因大量负样本的存在呈现虚假的“高性能”，而PR曲线完全聚焦于正样本的预测表现。PR AUC是对整个阈值空间内精确率-召回率权衡能力的量化集成，相比单一的F1-score，它能更全面、稳定地反映模型的整体性能。

• F1-score的局限性：F1是固定阈值下精确率和召回率的调和平均，两个模型的F1仅存在“略高/稍低”的差异，说明这种差距可能来自阈值选择的波动，而非模型本身的核心性能差距。而PR AUC不受单一阈值限制，能规避这种偶然性。

• 可视化表现的量化佐证：你观察到的“测试结果可视化表现更优”虽然难以直接解释，但PR AUC更高已经和这种直观感受形成了呼应——PR曲线的高AUC意味着在多数阈值下，模型对正样本的识别能力都更出色，这正是可视化表现背后的量化支撑。

报告论证强化建议 #

若要进一步增强说服力，可补充以下内容：

• 统计两个模型在不同分类阈值下的F1-score分布，验证后者是否在更多阈值区间内具备更优的F1表现；
• 结合业务核心诉求：如果业务更看重正样本识别的稳定性（比如既要尽可能覆盖正样本，又要保证识别精准度），PR AUC的优先级会远高于单一阈值下的F1-score。

内容的提问来源于stack exchange，提问作者Paule