Keras二分类模型评估中计算AUC-ROC应使用预测概率还是类别

结论 #

第一种直接使用model.predict()输出的预测概率计算AUC-ROC的方式是正确的，将概率按照0.5阈值转换为预测类别后再计算AUC的方法不符合该指标的设计逻辑，得到的结果没有参考价值。

结果差异原因 #

• AUC-ROC的核心含义是模型对正负样本的排序能力，也就是模型给真实正样本输出的分数高于真实负样本的概率。ROC曲线的绘制逻辑是遍历所有可能的分类阈值，逐一计算每个阈值对应的假正率（FPR）和真正率（TPR），将所有阈值对应的(FPR, TPR)点连接后得到完整曲线，AUC就是这条曲线下的面积。
• 当你将预测概率按固定0.5阈值转换为0/1离散类别后，输入roc_curve函数的预测值只有两个可选值，此时函数最多只能生成2~3个有效坐标点，完全无法还原模型在不同阈值下的分类表现，相当于强行让一个可以输出连续排序能力的模型退化为只有单一阈值的二分类器，计算出来的AUC自然会大幅失真，甚至出现接近随机猜测的0.5的结果。
• 补充说明：只有计算准确率、精确率、召回率、F1值这类依赖固定分类阈值的指标时，才需要将预测概率转换为离散类别；所有衡量排序能力的指标（包括AUC-ROC、AUC-PR等）都必须使用原始的连续预测概率计算。

内容的提问来源于stack exchange，提问作者Badal