能否公平比较二分类与多分类模型的输出？附购车建模场景

直接公平对比二分类购车倾向模型和多分类车型选择模型的输出，本质上是不合理的——因为这两个模型的任务目标、输出概率的含义，甚至优化逻辑都完全不同。下面我拆解下原因，再说说怎么合理对接这两个模型的结果。

为什么直接对比站不住脚？ #

• 任务目标天差地别
  二分类模型的核心是「区分用户会不会买车」，优化的是「购车/不购车」两类的分类边界；而多分类模型的核心是「如果用户买车，会选哪款」（如果没把「不购车」算成一类的话），或者「区分用户是买A/B/C/D/E还是不买」（把不购车算成第6类）。两者优化的损失函数、关注的用户行为特征权重完全不一样，输出的结果天然就不是一个维度的东西。

• 概率的含义完全不同
  举个直观的例子：

  • 二分类模型输出的0.7，是用户整体购车的边际概率——不管他买哪款，只要买车就算；
  • 如果多分类模型没包含「不购车」类，它输出的P(Car_a)=0.4，是给定用户已经决定买车的条件下，选Car_a的概率；
  • 如果多分类模型包含「不购车」类，只有「所有车型概率的总和」才和二分类的输出是同一含义，单款车型的概率依然和二分类不搭。

  你看，这两种概率的计算逻辑完全不同，直接比数值大小没有任何实际意义。

• 评估指标根本不通用
  二分类模型看AUC、准确率、F1值这些；多分类模型看Top-1准确率、Macro-F1、混淆矩阵这些。就算硬凑数值对比，也没法说明哪个模型更「好」——因为它们解决的是完全不同的营销问题。

怎么合理对接两个模型的结果？ #

从你提到的营销需求出发，其实不需要「公平对比」，而是要把两个模型的能力结合起来，或者在特定场景下做有限对比：

1. 如果多分类模型包含「不购车」类
   你可以把多分类模型中「所有车型概率的总和」（也就是用户购车的总概率）和二分类模型的购车概率做对比——这时候两者的含义一致。你可以用MAE、MSE这类回归指标看两个概率的差异，或者把多分类模型的结果转成「购车/不购车」二分类，和原二分类模型比AUC、准确率，看哪个对用户是否购车的判断更准。

2. 如果多分类模型只针对购车用户
   那两个模型的适用场景是上下游关系：先用二分类模型筛选出高购车概率的用户，再把这些用户输入多分类模型，预测他们最可能买的车型——这样既能找到潜在买家，又能给他们精准推荐，完全覆盖你的营销需求，根本不需要对比。

3. 从营销决策角度
   二分类模型帮你圈定「高意向用户池」，多分类模型帮你给这个池子的用户做「车型个性化匹配」，两者是互补的，不是竞争关系。你要关注的是两者结合后，营销转化效率有没有提升，而不是单独对比模型输出。

内容的提问来源于stack exchange，提问作者Abhishek Arora