如何对比两个多分类混淆矩阵的性能，选出更优的分类器？

你可以按优先级从高到低结合业务需求选择对比维度：

• 第一步：对比整体准确率
  先算两个分类器的整体准确率：混淆矩阵对角线元素总和 / 所有元素总和，该指标直接反映整体分类正确的样本占比，若两者差距较大，优先选择准确率更高的分类器。
• 第二步：单类别性能对比（尤其适用于样本不平衡或有重点关注类的场景）
  针对每个类别分别计算三个指标：
  • 精准率：该类对角线元素 / 该类对应列所有元素总和，反映所有被预测为该类的样本中，真实属于该类的比例
  • 召回率：该类对角线元素 / 该类对应行所有元素总和，反映所有真实属于该类的样本中，被正确识别的比例
  • F1值：2 * 精准率 * 召回率 / (精准率 + 召回率)，是精准率和召回率的调和平均，平衡两个指标的表现
    如果你有特定需要优先保证识别效果的类别（比如异常检测场景的异常类、医疗分类的阳性类），直接对比两个分类器在该类的对应指标即可，满足需求的分类器更优。
• 第三步：多类聚合指标对比
  如果需要同时评估所有类的整体表现，可以对比两类聚合指标：
  • 宏平均指标（Macro-P、Macro-R、Macro-F1）：把所有类的精准率、召回率、F1值直接做算数平均，不考虑不同类的样本量差异，能公平反映模型对小样本类的处理能力，适合需要所有类别表现均衡的场景
  • 加权平均指标（Weighted-P、Weighted-R、Weighted-F1）：按每个类的真实样本占总样本的比例对单类指标加权平均，更偏向大样本类的表现，和整体准确率的相关性更高
• 第四步：错分分布合理性对比
  如果两个分类器的上述指标都很接近，可以进一步对比错分的具体情况：
  • 看错分是否集中在属性/语义接近的类别，比如数字识别场景下把3错分为8，远比对3错分为1的可接受度更高，错分逻辑符合业务常识的分类器实际落地表现会更稳定
  • 看是否存在表现明显拉胯的类别，优先选择没有极端低性能类别的分类器，避免落地时某类完全不可用的问题
• 第五步：自定义错分成本对比
  如果你的业务场景对不同错分类型有不同的惩罚力度，可以先定义对应错分成本矩阵，再计算两个分类器的总错分成本，总代价更低的分类器更优。

实际选型没有通用的最优标准，优先匹配你的核心业务需求即可，不需要盲目追求单一指标最高。

内容的提问来源于stack exchange，提问作者kyra gyra