信息增益率能否为负值？信息增益是否可能为负？

嘿，我来帮你理清楚这两个关于信息增益和增益率的问题，结合信息论的基础定义来拆解：

绝对不可能。我们先回到信息增益的核心公式：
$$IG(Y|X) = H(Y) - H(Y|X)$$
这里的两个熵的含义是：

• $H(Y)$：随机变量Y的边际熵，用来衡量Y本身的不确定性
• $H(Y|X)$：给定X时Y的条件熵，衡量在已知X的信息后，Y剩下的不确定性

根据信息论的基本结论：条件熵永远不会超过边际熵（$H(Y|X) \leq H(Y)$）。简单来说，知道额外的信息（X）只会降低或者保持Y的不确定性，不可能让Y变得更难预测。所以 $H(Y) - H(Y|X)$ 的结果必然大于等于0——信息增益的最小值是0（比如当X和Y完全独立，或者X是一个所有样本取值都相同的常数属性时），绝对不会出现负数。

同样不可能。信息增益率的定义是把信息增益除以属性X的分裂信息（也就是X自身的熵 $H(X)$），公式是：
$$GainRatio(Y|X) = \frac{IG(Y|X)}{H(X)}$$

我们已经确定 $IG(Y|X) \geq 0$，而分裂信息 $H(X)$ 作为熵，取值范围是 $H(X) \geq 0$：

• 当 $H(X) > 0$ 时（X有至少两种不同的取值，存在不确定性），分子非负、分母为正，计算出来的增益率必然是非负的
• 当 $H(X) = 0$ 时（X是常数属性，所有样本的X取值一致），此时 $IG(Y|X) = 0$，这时候增益率是0除以0的无意义状态，实际建模时会直接跳过这类没有区分度的属性，不会去计算它的增益率

所以信息增益率要么是非负的有效值，要么是无意义的未定义状态，绝对不会小于0。

内容的提问来源于stack exchange，提问作者Jiazhuo Ren