三分类不平衡任务适用评估指标及优化手段失效原因咨询

1. 为什么设置class_weight没有效果 #

你观察到class_weight参数不生效，通常有两个核心原因：

• 你在模型调参、选择最优模型时，仍然使用了准确率作为评估标准。就算class_weight让模型对少数类的预测效果变好，只要多数类的预测准确率下降，整体准确率就会降低，调参过程会自动过滤掉这些参数，最终返回的还是偏向多数类的模型，自然交叉表没有变化。
• 如果你的少数类和多数类的特征重叠度较高，单纯调整类权重很难让模型学到足够区分少数类的规则，此时需要结合数据层面的采样操作才能见效。

2. 为什么更换评估指标没有产生作用 #

评估指标本身只是用来衡量模型效果的工具，不会直接影响模型的训练和参数选择。你只是换了事后计算效果的指标，但没有把这个指标作为模型调优的目标（比如GridSearchCV、RandomizedSearchCV的scoring参数），模型选择的逻辑还是以准确率为准，最终得到的模型自然和之前完全一致。

3. 为什么Boosting算法没有达到预期效果 #

Boosting算法对不平衡数据的友好性是有前提的：你需要调整它的类权重参数（比如XGBoost的样本权重参数），并且用适合不平衡场景的指标作为优化目标。你仍然用准确率作为调参标准，模型会优先通过预测多数类来获得更高的准确率，自然不会倾斜资源学习少数类的特征，也就不会有效果提升。

4. 该场景下适合的评估指标 #

你的需求是提升0、1两个少数类的预测效果，应该优先选择对所有类别一视同仁的宏平均类指标：

• 如果你希望同时平衡假阴性和假阳性，优先用f1_macro
• 如果你更看重减少假阴性，优先用recall_macro
• 如果你更看重减少假阳性，优先用precision_macro
• 你自定义的多分类平均PR-AUC也非常适合该场景，不过可以对代码做优化，实现真正的每类PR-AUC取平均的macro逻辑，而不是默认的micro平均：

from sklearn.preprocessing import label_binarize
from sklearn.metrics import average_precision_score
from sklearn.metrics import make_scorer

def pr_auc_score(y_true, y_pred):
    y = label_binarize(y_true, classes=[0, 1, 2])
    # 逐类计算PR-AUC后取平均（macro平均）
    ap_per_class = [average_precision_score(y[:, i], y_pred[:, i]) for i in range(3)]
    return sum(ap_per_class) / len(ap_per_class)

pr_auc = make_scorer(pr_auc_score, greater_is_better=True, needs_proba=True)

额外优化建议 #

• 后续调参时，将搜索工具的scoring参数设置为你选择的宏平均指标或自定义PR-AUC，替换默认的准确率
• 可以尝试数据层面的混合采样策略：用SMOTE过采样0、1类，再用Tomek Links欠采样移除类别边界的混淆样本，效果通常比仅靠模型层面的权重调整更好
• 如果不同类别的错判成本有差异，可以自定义损失函数，给少数类的错判设置更高的惩罚权重

内容的提问来源于stack exchange，提问作者Anthony G