为何代价敏感学习无法计算ROC曲线，需改用Kappa等指标？

核心原因：ROC/AUC依赖概率输出或多阈值分类结果 #

ROC曲线的本质是遍历所有可能的分类阈值，逐个计算对应的真阳性率（即灵敏度）和假阳性率（1-特异度），再把这些点连成曲线；AUC则是这条曲线下的面积。要做到这一点，模型必须能输出每个样本属于各类别的概率（或者至少能输出一个连续的决策分数）——这样你才能手动调整阈值，生成不同的分类结果集合，进而得到ROC曲线上的多个点。

但很多代价敏感学习模型的现有实现，是直接将代价加权整合到分类决策逻辑里（比如调整分类边界、修改损失函数），不会输出类别概率或连续决策分数，只能给出最终的类别预测。没有概率/分数，你就没法调整阈值生成多组分类结果，自然没法构建ROC曲线，更没法计算AUC。

为什么可以用灵敏度、特异度、Kappa？ #

• 灵敏度和特异度：这两个指标是单一阈值下的性能结果——只要模型给出确定的类别预测（不管这个阈值是默认的还是代价加权后的最优值），就能直接计算。虽然它们确实是ROC曲线上的一个点，但ROC需要的是全阈值范围的点集合，而这里只需要当前模型对应的那个点的指标，用来评估代价加权后的分类表现。
• Kappa统计量：它衡量的是模型预测结果与真实标签的一致性，并且会校正随机猜测带来的影响。它只需要分类结果，不依赖概率输出，尤其适合类别不平衡或有代价加权的场景，能更客观反映模型的实际性能。

该方法的一个结果是，模型无法生成类别概率（至少现有实现如此），因此无法计算ROC曲线，必须使用其他性能指标。我们将改用Kappa statistic、sensitivity和specificity来评估类别加权的影响。

内容的提问来源于stack exchange，提问作者Gioi Hoc Sinh