关于非概率型机器学习模型适用ROC与AUC的疑问

首先明确结论：非概率型二分类模型完全可以使用ROC曲线和AUC指标，你遇到的“无法或不适用于”的说法是对ROC/AUC核心逻辑的误解。

为什么会有“非概率模型不适用”的误区？ #

很多资料的说法混淆了模型的直接类别输出和可用于排序的倾向性得分。ROC的核心不是依赖模型输出概率，而是依赖模型对样本属于正类的倾向性进行排序的能力——只要能得到每个样本的“正类倾向得分”（不管是不是概率值），就能通过调整阈值来计算不同阈值下的TPR（真阳性率）和FPR（假阳性率），进而绘制ROC曲线、计算AUC。

针对你提到的模型，具体怎么生成ROC曲线？ #

• KNN：你提到调整K值能得到不同的TP/FP，其实更本质的是，固定K后，我们可以用样本的正类邻居占比作为正类倾向得分，通过调整这个得分的阈值（比如从0到1逐步截断），就能得到一系列TPR/FPR点，连成ROC曲线；调整K值会改变得分分布，进而得到不同的ROC曲线用于对比。
• 决策树：除了输出类别，决策树可以输出样本所在叶子节点的正类样本占比作为倾向得分，或者通过剪枝调整树的复杂度改变得分分布，再通过调整得分阈值来生成ROC曲线；你说的调整节点数量，本质也是改变得分的区分度，最终还是基于得分阈值的变化来计算TP/FPR。
• 支持向量机（SVM）：线性SVM输出的样本到超平面的距离就是天然的正类倾向得分（距离越远，属于正类的倾向越强），不需要调整超平面位置，只要对这个距离得分设置不同的截断阈值，就能得到不同的分类结果，进而计算TPR/FPR生成ROC曲线。

二分类场景下的总结 #

对于你正在使用的二分类监督模型，不管它是不是概率型，只要能输出用于衡量正类倾向的得分（哪怕是间接的、非概率形式的），ROC曲线和AUC都是完全适用的，而且是非常有效的模型性能对比指标——AUC值越高，说明模型对正负样本的排序能力越强，整体分类性能越好。

内容的提问来源于stack exchange，提问作者Questions123