XGBoost超参数调优：PR-AUC优化后下降且不稳定求建议

首先，我先梳理下你的核心困境：在针对类别不平衡数据集的XGBoost超参数调优中，你采用分步优化策略（先单独调优subsample，再固定该参数优化colsample_bytree和max_depth），结果第二次优化后的模型测试集PR-AUC略低于第一次，训练集PR-AUC下降更明显；即便将CV次数提升至5，这个现象依然存在。下面从几个角度拆解可能的原因，并给出具体的改进建议：

一、可能的原因分析 #

1. 性能差异属于正常统计波动 #

你两次测试集的PR-AUC差异极小（0.73028 vs 0.73021），这个差距大概率在统计上是不显著的。尤其是在类别不平衡场景下，模型性能受数据分布的微小扰动影响会被放大，这种级别的波动完全是合理的，不能直接判定第二次调参的结果更差。

2. 分步调参的局限性：忽略参数交互效应 #

分步调参虽然能减少参数组合数量，但完全忽略了参数之间的协同作用。比如subsample（样本采样比例）和colsample_bytree（特征采样比例）之间可能存在联动：当subsample=0.8时，最优的colsample_bytree可能不是你第一次固定的0.8，但第一次调参时因为其他参数被锁死，只能选出subsample=0.8作为局部最优；而第二次固定subsample=0.8后，CV选出的最优组合只是该约束下的局部最优，全局来看可能不如第一次的组合适配你的数据集。

3. 固定CV划分导致的偏差 #

你两次调参都使用了相同的random_state=1001来划分StratifiedKFold，这意味着两次调参用的是完全一致的训练/验证折。如果某一组折的数据分布刚好对第一次的参数组合更友好，就会导致CV得分偏向该组合，无法反映模型在不同数据划分下的真实稳定性。

4. 第二次调参等价于GridSearch的特殊情况 #

第二次调参中，你设置n_iter=32，而colsample_bytree有8个取值、max_depth有4个取值，8×4=32，这意味着RandomizedSearchCV实际上遍历了所有参数组合，等价于GridSearch。这种情况下，CV选出的最优参数是固定subsample=0.8后的最优，但这个组合在测试集上的表现可能不如第一次的组合——因为第一次的组合是在更窄的参数空间（colsample_bytree=0.8、max_depth=5）中选出的，刚好适配你的测试集分布。

二、具体改进建议 #

1. 验证性能差异的统计显著性 #

不要仅凭一次测试集结果判断优劣，建议：

• 使用RepeatedStratifiedKFold（重复多次交叉验证），比如重复5次5折CV，计算两个模型在所有折上的PR-AUC得分，再用配对t检验判断两者的性能差异是否真的存在。
• 多次随机划分测试集，观察两个模型的性能波动范围，确认第一次的优势是否稳定。

2. 改为多参数联合优化 #

放弃分步调参，改为同时优化多个相关参数，比如将subsample、colsample_bytree、max_depth、min_child_weight、gamma都加入参数空间，用RandomizedSearchCV采样足够多的组合（比如50-100次迭代）。这样能覆盖参数间的交互效应，更有可能找到全局最优组合。示例参数空间可以设置为：

params = {
    'min_child_weight': [1, 3, 5],
    'gamma': [0, 0.1, 0.2],
    'subsample': [0.6, 0.7, 0.8, 0.9],
    'colsample_bytree': [0.6, 0.7, 0.8, 0.9],
    'max_depth': [3, 4, 5, 6],
    'n_estimators': [600]
}

3. 优化CV设置以提升稳定性 #

• 使用RepeatedStratifiedKFold代替单一的StratifiedKFold，示例代码：

  from sklearn.model_selection import RepeatedStratifiedKFold
  rskf = RepeatedStratifiedKFold(n_splits=5, n_repeats=3, random_state=1001)
  

  这样能通过多次重复划分来减少单次CV的随机性偏差。
• 可以尝试每次调参使用不同的random_state（需权衡结果可复现性），或者在RandomizedSearchCV中不固定random_state，让参数采样更具随机性。

4. 修正scale_pos_weight的设置 #

你当前设置scale_pos_weight=1，但类别不平衡场景下，这个参数应该设置为负样本数量 / 正样本数量，这样模型会给正样本更高的权重，更适配PR-AUC的优化目标。建议计算数据集的正负样本比例后调整该参数：

import numpy as np
scale_pos_weight = np.sum(Y == 0) / np.sum(Y == 1)
model = XGBClassifier(..., scale_pos_weight=scale_pos_weight, ...)

5. 分析两次模型的最优参数差异 #

打印model2_rs.best_params_，对比第二次选出的最优colsample_bytree和max_depth与第一次的组合（colsample_bytree=0.8、max_depth=5）：

• 如果第二次的最优参数和第一次不同，分析该组合的CV得分为什么更高，是否在验证折上的泛化性更好，但刚好适配测试集的程度不如第一次的组合。
• 如果第二次的最优参数就是第一次的组合，但测试集性能仍略低，那更说明是数据分布的随机波动导致的。

内容的提问来源于stack exchange，提问作者user1503