多分类场景下Gini不纯度的取值范围是多少？

首先明确Gini不纯度的计算公式：
Gini = 1 - Σ(p_i²)
这里的p_i是节点内第i类样本的占比，所有类别占比之和Σp_i = 1，k为类别总数（k≥2）。

取值范围分析 #

• 最小值：0
  当节点内所有样本都属于同一类别时，某个p_i=1，其余类别占比为0，代入公式得Gini = 1 - 1² = 0，对应节点完全纯净，这个结果和二分类一致。

• 最大值：1 - 1/k
  当所有类别的样本占比完全相等时（即每个p_i=1/k），Gini不纯度达到最大值：
  Gini = 1 - k*(1/k)² = 1 - 1/k
  随着类别数k增加，这个最大值会逐渐趋近于1：

  • 二分类（k=2）时，最大值为0.5，这就是很多资料标注[0, 0.5]的来源，但这只是二分类独有的情况
  • 三分类（k=3）时，最大值约为0.667
  • 十分类（k=10）时，最大值为0.9
  • 当类别数趋近于无穷大时，Gini不纯度的最大值趋近于1

你提供的图里的曲线应该直观展示了这个规律：类别数越多，Gini不纯度的上限越高，完全不是固定的0.5。

总结来说，多分类场景下Gini不纯度的取值范围是**[0, 1 - 1/k]**，其中k为类别总数，只有二分类时才会落在[0, 0.5]区间内。

内容的提问来源于stack exchange，提问作者Ahmad Dawood