针对随机森林的RandomizedSearchCV调参耗时过长如何优化？

现有代码耗时原因 #

你当前的参数配置总训练次数为 100次迭代 * 3折交叉验证 = 300次 随机森林训练，且参数范围设置冗余度极高，单模型训练成本过大，是耗时过长的核心原因。

可落地优化方案 #

• 缩小参数搜索空间
  现有参数范围冗余度极高：n_estimators超过500后绝大多数场景不会带来明显效果提升，无需设到2000；max_depth超过30后节点已经接近纯叶，再增加深度无意义，可直接调整参数范围。同时可将RandomizedSearchCV的n_iter参数从100降到20~30，随机搜索本身为采样搜索，减少迭代次数不会明显影响最优参数的查找效果。
• 降低交叉验证成本
  大数据场景下2折交叉验证的结果和3折差异极小，可将cv参数从3调整为2，直接减少1/3总训练量；如果数据集体量足够大，甚至可以取消交叉验证，传入独立验证集做参数评估，速度提升更明显。
• 增加训练提前终止逻辑
  换用LightGBM/XGBoost实现树模型，添加early_stopping_rounds参数，训练时验证集精度无提升就提前停止，无需跑完所有决策树，单模型训练速度可提升数倍。
• 数据层面降本
  参数搜索阶段无需使用全量训练数据，可抽取10%~30%的样本做参数搜索，找到最优参数范围后再用全量数据精调，参数最优范围在采样数据和全量数据上差异极小；同时可提前筛除冗余特征、唯一值特征、低方差特征，减少单棵树的计算量。
• 搜索工具替换
  用贝叶斯搜索工具Optuna替代RandomizedSearchCV，找到同等效果的最优参数所需的迭代次数仅为随机搜索的1/3~1/2，总训练量大幅降低。

优化后参考代码 #

from sklearn.model_selection import RandomizedSearchCV
import numpy as np

# 收缩后的参数空间
n_estimators = [200, 300, 400, 500]
max_features = ['auto', 'sqrt']
max_depth = [10, 20, 30, None]

random_grid = {
 'n_estimators': n_estimators,
 'max_features': max_features,
 'max_depth': max_depth
 }
# 调整n_iter和cv参数
rfc_random = RandomizedSearchCV(estimator = rfc, param_distributions = random_grid, n_iter = 20, cv = 2, verbose=2, random_state=42, n_jobs = -1)
rfc_random.fit(X_train, y_train)
print(rfc_random.best_params_)

内容的提问来源于stack exchange，提问作者Naevys