针对你这种输出「接受概率」的二分类模型（0=拒绝，1=接受），我整理了几个业内常用的量化评估方法，你可以根据业务场景和需求选择合适的指标：

一、基础准确率（Accuracy） #

这是最直观的指标，但一定要注意类别不平衡的场景会让它失去参考价值。

• 计算方式：先设定一个概率阈值（比如常用的0.5），把预测概率转换成类别（≥阈值=1，<阈值=0），然后统计正确预测的样本数占总样本数的比例。
• 公式：准确率 = (真正例TP + 真负例TN) / 总样本数
• 例子：如果100个样本里，80个被正确预测（不管是0还是1），准确率就是80%。
• 注意：如果你的数据里90%都是「拒绝」（0），哪怕模型全预测0，准确率也有90%，但这显然不是好模型，所以这种场景下别只看准确率。

二、混淆矩阵与衍生指标 #

先构建混淆矩阵（把预测类别和实际类别交叉统计），然后可以得到更细分的指标：

• 精确率（Precision）：模型预测为「接受」的样本里，实际真的是「接受」的比例 → Precision = TP / (TP + FP)，适合关注“别误判拒绝为接受”的场景。
• 召回率（Recall/TPR）：实际是「接受」的样本里，被模型正确预测的比例 → Recall = TP / (TP + FN)，适合关注“别漏掉真正的接受”的场景。
• F1分数：精确率和召回率的调和平均，平衡两者的表现 → F1 = 2*(Precision*Recall)/(Precision+Recall)，适合需要兼顾两者的场景。

三、ROC-AUC曲线（区分能力评估） #

这个指标不需要设定阈值，直接衡量模型对正负样本的区分能力：

• ROC曲线是把不同阈值下的「真正例率（TPR）」和「假正例率（FPR）」画成的曲线，AUC是曲线下的面积。
• AUC取值范围0-1：越接近1，模型区分正负样本的能力越强；接近0.5就是随机猜测水平。
• 适合你这种输出概率的模型，能全面反映模型的整体区分性能。

四、PR-AUC曲线（类别不平衡场景首选） #

如果你的数据里「接受」（1）的样本很少（类别不平衡），PR-AUC比ROC-AUC更靠谱：

• PR曲线是把不同阈值下的「精确率」和「召回率」画成的曲线，AUC是曲线下的面积。
• 这个指标更聚焦于少数类（接受样本）的预测表现，能更真实反映模型在这类场景下的性能。

五、校准性评估（概率可信度验证） #

你的模型输出的是概率，那得验证这些概率是不是“可信”——比如预测0.8的样本，实际真的有80%是接受：

• 校准曲线（可靠性曲线）：把预测概率分成若干区间（比如0-0.1，0.1-0.2…0.9-1），计算每个区间内实际正样本的比例，然后把区间平均概率和实际比例画成曲线，越接近对角线说明校准越好。
• Brier分数：量化校准程度的数值指标，公式是Brier分数 = 平均((实际结果 - 预测概率)²)，分数越小说明预测概率和实际结果的偏差越小，校准越好。

六、对数损失（Log Loss） #

这是衡量概率预测精准度的常用指标，对错误的概率惩罚更严厉：

• 公式：对每个样本，计算 -y_i*log(p_i) - (1-y_i)*log(1-p_i)，然后取所有样本的平均值（y_i是实际0/1，p_i是预测概率）。
• 数值越小，说明模型的概率预测越接近实际结果。

快速实践建议 #

1. 先看混淆矩阵，了解模型的误判类型；
2. 如果类别不平衡，优先看PR-AUC、召回率；
3. 重视校准性——如果模型预测0.8但实际只有50%接受，那这个概率的参考价值就很低；
4. 不要只看单一指标，结合业务场景选2-3个核心指标综合评估。

内容的提问来源于stack exchange，提问作者Marvania Mehul