使用HistGradientBoostingClassifier遇数据增强后精度骤降问题咨询

我正在用Sklearn的HistGradientBoostingClassifier做单标签多分类任务（共20个标签），做了两组实验：

• 第一组：未做数据增强，用约3000条不平衡样本，模型精度约86.0%
• 第二组：做数据增强后，样本量约12000条（仍不平衡），用默认参数时模型精度骤降至约23%

其他算法用相同数据划分测试结果正常（数据增强后精度提升约5%），仅该模型出现异常。我怀疑和数据集不平衡有关，但HistGradientBoostingClassifier没有针对不平衡数据集的内置处理特性，没法直接验证这个猜想。想问有没有人遇到过HistGradientBoostingClassifier在大数据集下的这类问题？

可能的排查方向与解决方法 #

1. 先确认数据增强的正确性 #

• 检查增强后数据集的标签分布：虽然说仍不平衡，但可能增强操作后少数类的占比被进一步压缩到极端程度（比如某些类样本占比不足0.1%），导致模型完全偏向多数类；或者增强过程中出现标签错误映射（比如增强样本的标签和原样本不匹配）。可以用value_counts()统计各标签的样本数，对比两组实验的分布差异。
• 检查增强后特征的合理性：比如数据增强是否导致特征分布严重偏离原始数据（比如数值特征的范围异常、类别特征出现新的未知取值），HistGradientBoostingClassifier基于直方图分箱，对特征分布的变化敏感度较高，特征失真可能导致模型完全失效。

2. 调整模型参数适配大数据集 #

HistGradientBoostingClassifier的默认参数是针对中等规模数据集设计的，样本量从3000涨到12000后，默认参数可能不再适用：

• 调小学习率+增加迭代次数：默认learning_rate=0.1、max_iter=100，大数据集下可以把learning_rate降到0.01-0.05，同时把max_iter提升到300-500，让模型有足够的迭代次数学习到有效模式。
• 调整树结构参数：默认min_samples_leaf=20，对于12000样本来说这个阈值可能偏高，导致模型欠拟合；可以尝试调小到5-10，让树能捕捉更细粒度的模式。另外max_depth默认是None（无限制），也可以尝试设置为10-15，避免过拟合。

3. 手动加入样本权重处理不平衡 #

虽然模型没有class_weight参数，但可以通过sample_weight实现类别加权：
计算每个类别的权重公式为：weight = 总样本数 / (类别数 * 该类样本数)，然后为每个样本分配对应类别的权重，在fit时传入sample_weight参数。示例代码：

import numpy as np
from sklearn.utils.class_weight import compute_sample_weight
from sklearn.ensemble import HistGradientBoostingClassifier

# 计算样本权重
sample_weights = compute_sample_weight(
    class_weight='balanced',
    y=train_labels
)

# 传入模型训练
model = HistGradientBoostingClassifier()
model.fit(train_features, train_labels, sample_weight=sample_weights)

4. 验证模型是否过拟合/欠拟合 #

对比训练集和测试集的精度：

• 如果训练集精度很高、测试集精度极低，说明过拟合，需要增加正则化（比如调大min_samples_leaf、设置max_depth、增加l2_regularization）。
• 如果训练集和测试集精度都很低，说明欠拟合，需要增加模型复杂度（调小min_samples_leaf、增加max_iter、调大learning_rate）。

内容的提问来源于stack exchange，提问作者randomboar