XGBoost超参数优化报标签格式错误 小数据集random_state设置方案

1. 修复标签格式报错问题 #

• 数据集拆分时添加stratify=y参数做分层抽样，保证训练集、测试集都按标签比例拆分，不会出现某类样本完全缺失的情况。
• 直接用全量标签的总类别数设置num_class，不要用训练集的标签数计算，避免训练集缺类时参数配置错误：num_class = len(set(y))
  完成以上修改后，即使不固定random_state也不会触发标签格式错误的报错。

2. 解决小数据集固定拆分后超参优化失效问题 #

你当前的优化逻辑是用单次留出法拆分的精度评估超参性能，小数据集下单次拆分的波动极大，要么固定拆分后超参变化对结果影响极小，要么不固定拆分时结果随机不可比。正确的做法是替换为分层K折交叉验证来评估超参性能：

• 用StratifiedKFold做K折拆分（小数据集建议K取5~10，类别样本极少时可下调到3），计算K次验证的平均精度作为该组超参的评估值，评估结果更稳定，不会因为单次拆分的偶然性导致超参评估失效。
• 优化目标改为负的平均精度，适配gp_minimize的最小化逻辑。

3. 解决最优超参受随机种子影响的问题 #

• 固定全流程的随机种子：包括交叉验证拆分的随机种子、XGBoost模型的随机种子、gp_minimize的随机种子，保证优化过程可复现。
• 如果需要进一步验证超参的泛化性，可以采用嵌套交叉验证：外层K折拆分，每一个外层折的训练集做内层超参优化，测试集用来评估最优超参的性能，最终得到的泛化性能评估不会过拟合到某一组拆分。

修改后的核心代码示例 #

from sklearn.model_selection import StratifiedKFold, cross_val_score

# 优化函数替换为交叉验证版本
def optimize(params, param_names, x, y):
    params = dict(zip(param_names, params))
    # 固定XGBoost随机种子保证同参数下结果可复现
    xgb_model = xgb.XGBClassifier(
        use_label_encoder=False, 
        num_class=len(set(y)), # 直接用全量类别数
        objective="multi:softprob",
        random_state=42,
        **params
    )
    # 分层5折交叉验证，固定拆分随机种子
    skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
    # 计算平均精度
    mean_acc = cross_val_score(xgb_model, x, y, cv=skf, scoring='accuracy').mean()
    return -1.0 * mean_acc

# gp_minimize也固定随机种子，保证优化过程可复现
result = gp_minimize(
    optimization_function,
    dimensions=param_space,
    n_calls=30,
    n_random_starts=6,
    verbose=True,
    random_state=42 # 固定贝叶斯优化的随机种子
)

内容的提问来源于stack exchange，提问作者DoktoriPartise19