为何分类模型在类别不平衡场景下失效？求底层原因解析

这个问题问得太关键了！很多教程直接甩过采样/欠采样的解决方案，但没说清背后的根本原因——其实模型在类别不平衡下失效，核心是模型的优化逻辑和我们的任务目标本质上不匹配，下面拆解几个核心点：

1. 损失函数的“多数类霸权” #

大多数机器学习模型的损失函数是对所有样本的损失做平均（或求和），比如分类任务里的交叉熵损失：
Loss = -1/N * Σ(y_i * log(p_i) + (1-y_i)*log(1-p_i))
当类别极度不平衡时，多数类的样本数量远大于少数类，哪怕模型把所有少数类都错判，只要多数类判对，整体损失依然会很低。比如99%是A类，1%是B类，模型全预测A类，损失几乎趋近于0，但对B类的识别完全失效——因为损失函数只关心整体的平均错误，根本没给少数类的错误足够的权重。

2. 优化目标和任务需求的错位 #

我们做不平衡分类的核心需求是识别出少数类，但模型默认优化的是“整体样本的预测正确率”（或者说最小化整体损失），这和我们要的“少数类召回率/精确率”完全不是一回事。准确率这个指标之所以没用，也是因为它被多数类的正确预测拉得很高，掩盖了少数类的完全失效——而模型的优化过程其实就是在往“准确率最高”的方向走，自然会彻底忽略少数类。

3. 特征学习的“数据饥渴”问题 #

机器学习模型的本质是从数据里学习特征模式，少数类样本太少的话，模型根本没法学到它的特征分布。比如训练数据里少数类只有10个样本，而多数类有10000个，模型对多数类的特征边界拟合得非常精准，但对少数类的特征只能靠猜——毕竟数据太少，连它的基本分布都没法覆盖，更别说学到有效的判别模式了。

4. 梯度更新被多数类“淹没” #

训练过程中，参数更新依赖于每个样本的梯度贡献。多数类样本多，每次迭代都会产生大量的梯度，这些梯度会把少数类的梯度完全淹没。比如每次迭代有1000个多数类样本，每个贡献一点梯度，而只有10个少数类样本，它们的梯度加起来都赶不上多数类的零头——模型的参数更新方向自然会朝着减少多数类错误的方向走，少数类的错误对参数几乎没有影响。

最后补一句： #

其实过采样/欠采样这些方法，本质上就是在修正这些问题：

• 过采样给少数类“凑”足够的样本，让它的损失贡献、梯度权重、特征分布都能被模型重视；
• 欠采样减少多数类的样本数量，降低它在损失和梯度里的霸权地位，让少数类的信号能凸显出来。

内容的提问来源于stack exchange，提问作者Jing