average_precision_score为何忽略y_true=0的预测？如何处理假阳性？

为什么average_precision_score和roc_auc_score看起来忽略了y_true=0的预测？ #

这两个指标评估的是模型对样本的排序能力，而非某个固定阈值下的分类表现。你的例子里模型的排序逻辑是完美的：所有真实正样本（y_true=1的标签）的预测分数（1.0）都高于真实负样本（y_true=0的标签）的分数（0.9、0.8）。

• 对于average_precision_score（AP）：它的计算逻辑是将所有样本按预测分数从高到低排序，逐个遍历过程中，每遇到一个正样本就计算当前的精度（已正确识别的正样本数/已遍历的样本总数），最终取这些精度的平均值。你的例子中，前3个被遍历到的都是正样本，每次计算的精度都是1.0，因此平均结果为1.0。
• 对于roc_auc_score：它衡量的是随机选取一个正样本和一个负样本时，正样本分数高于负样本的概率。你的例子里所有正样本分数都高于负样本，这个概率是100%，所以AUC得分为1.0。

那些假阳性有没有参考价值？ #

当然有。AP和ROC AUC是对模型排序质量的整体评估，但实际业务中必须选择具体阈值来执行分类，这些假阳性直接反映了低阈值下模型的误判情况——比如当你选择0.8作为阈值时，会将大量负样本误判为正，此时精度很低但召回率拉满。这些信息能帮你根据业务需求平衡精度与召回：如果业务允许假阳性、需要尽可能不遗漏正样本，就选择低阈值；如果业务对假零容忍，就选择高阈值（比如1.0，此时精度为100%）。

有没有办法把这些假阳性纳入评估计算？ #

这取决于你的评估目标：

• 若关注特定阈值下的假阳性影响：直接计算该阈值对应的精度、召回、F1-score（或F-beta分数，可调整对假阳性/假阴性的权重），这些指标会直接体现假阳性的数量。
• 若想将假阳性影响融入整体排序评估：只有当模型排序不完美时（比如存在负样本的预测分数高于正样本），AP和AUC才会下降，从而体现假阳性的影响。如果模型排序本身是完美的，这两个指标自然为1.0，但你可以通过分析**Precision-Recall曲线（PR曲线）**的完整走势，查看不同召回率下的精度变化——PR曲线会清晰展示随着阈值降低，精度如何因假阳性增加而下降。
• 此外，还可以使用precision_at_k这类指标（适用于取排序前k个样本的场景），直接查看前k个样本中的假阳性比例。

内容的提问来源于stack exchange，提问作者Jan Huus