随机森林预测鲁棒性量化：类概率占比差异的度量指标咨询

针对你描述的场景——两个模型对正确类别的预测概率相同、熵值一致，但最优类与次优类的概率差异不同，以下几个指标可以精准量化这种区分度：

1. 分类间隔（Margin） #

这是最直接匹配你需求的指标，定义为正确类别概率与次高类别概率的差值，公式为：
Margin = P(y_true) - max(P(y≠y_true))

结合你的例子计算：

• 模型1：0.5 - 0.3 = 0.2
• 模型2：0.5 - 0.45 = 0.05

模型1的间隔更大，说明它对正确类别的置信度优势更明显，更不容易被次优类干扰而误判，完全符合你认为模型1更优的判断。

2. 前两类概率差（Top-2 Probability Difference） #

本质和分类间隔一致，但更明确指向多分类场景中“最优类-次优类”的概率差距，适合你这种需要聚焦于前两名类别区分度的场景。

3. Gini不纯度（Gini Impurity） #

虽然它通常用于衡量决策树节点的不纯度，但也可以用来评估模型输出概率分布的离散程度。公式为：
Gini = 1 - Σ(P_i²)

计算你的例子：

• 模型1：1 - (0.5² + 0.3² + 0.2²) = 0.62
• 模型2：1 - (0.5² + 0.45² + 0.05²) = 0.545

模型1的Gini值更高，说明其概率分布更分散，而模型2的概率集中在A、B两类，这也从侧面反映出模型1的次优类与最优类的差异更显著。

需要注意的是，熵值相同是因为熵衡量的是模型输出的整体不确定性，而上述指标聚焦于正确类与次优类的相对差异，刚好能弥补熵在这个场景下的局限性。

内容的提问来源于stack exchange，提问作者Ilario De Toma