CatBoost基于MultiClass损失函数的多分类实现机制及相关问题咨询

1. M个数值的生成方式 #

你的假设方向是对的：CatBoost在MultiClass损失下，确实是为每个类别单独训练一组二分类树模型。具体来说：

• 针对M分类任务，会构建M个独立的二分类器，每个对应一个类别
• 每个二分类器采用“当前类别 vs 其他所有类别”的one-vs-rest训练策略
• 每个类别对应的树序列是完全独立的，模型会为每个类别单独优化对应损失，树的结构、分裂节点、叶子权重等参数均不共享

2. 转换为预测概率的方式 #

得到每个类别的原始输出（也就是你提到的M个数值）后，CatBoost会通过Softmax函数将其转换为归一化的概率：

• 假设第i个类别的原始输出为logit_i，则该类别的预测概率计算公式为：$p_i = \frac{e^{{logit_i}}{\sum_{k=1}}M e^{logit_k}}$
• 经过Softmax转换后，所有类别的概率之和为1，符合概率分布的要求

关于树序列的补充 #

你关心的树序列问题，答案是：每个类别的树序列完全不同。因为每个二分类器都是独立训练的，针对的是不同的分类目标（当前类vs其余类），模型会根据各自的优化目标生成完全独立的树结构，树的数量、分裂规则、叶子节点权重均无共享机制。

内容的提问来源于stack exchange，提问作者Mageentta