模型选型应参考AUC、F-score、准确率、召回率等哪些指标并选优

指标选择逻辑 #

你需要先结合自身业务场景确定指标优先级，不同场景的核心参考指标完全不同：

• 数据集类别不平衡时，AUC 是首要参考，它不受分类阈值、样本占比影响，能客观反映模型对正负样本的区分能力
• 数据集类别平衡、且无特殊错判成本要求时，可直接参考准确率（Accuracy）
• 误报成本高的场景（比如正常用户被误判为风险用户、健康人被误诊为患病），优先看精确率（Precision），尽可能减少误判
• 漏判成本高的场景（比如癌症漏诊、诈骗交易漏识别），优先看召回率（Recall），尽可能减少漏判
• 需要同时兼顾精确率和召回率时，参考F-score这个综合指标

对应模型选择建议 #

先整理各模型的评估指标如下：

结合指标给出选择方案：

• 无特殊需求的常规场景下，优先选逻辑回归或者kNN：二者除AUC略低于ANN外，其余四项指标均为最高，实际分类表现更好。其中逻辑回归的可解释性、部署难度都远优于kNN和ANN，如果对模型可解释性有要求，直接选逻辑回归即可。
• 如果你对正负样本区分能力要求最高，且可以接受整体分类准确率稍低，就选ANN，它的AUC是四个模型中最高的。

内容的提问来源于stack exchange，提问作者Hakiem Halim