Python中用独立验证集调优RandomForestRegressor超参数能否用RandomizedSearchCV

当然可以使用RandomizedSearchCV这类工具实现指定验证集的超参数调优，sklearn的所有*SearchCV系列方法都支持自定义验证集拆分规则，不需要强制使用默认的K折交叉验证。

你只需要通过RandomizedSearchCV的cv参数传入预先定义好的数据集拆分索引，就能把原本的多折交叉验证逻辑替换为固定的单组训练-验证流程，完全匹配你提到的不用交叉验证、只用独立验证集调参的需求。

• 先将训练集和验证集的特征、标签分别拼接为完整的输入数据集
• 构造自定义拆分规则：用索引标注出哪些样本属于训练集、哪些属于验证集，将这一组拆分规则传入cv参数
• 其余RandomizedSearchCV的参数设置（比如超参数搜索空间、评估指标、搜索次数等）和常规交叉验证场景下的用法完全一致

from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import RandomizedSearchCV
import numpy as np

# 替换为你自己的三个独立数据集
X_train, y_train = 训练集特征, 训练集标签
X_val, y_val = 验证集特征, 验证集标签
X_test, y_test = 测试集特征, 测试集标签

# 拼接训练集和验证集作为搜索阶段的输入
X_search = np.concatenate([X_train, X_val])
y_search = np.concatenate([y_train, y_val])

# 定义拆分规则：前n_train个样本用于训练，后续样本用于验证
n_train = len(X_train)
custom_split = [(list(range(n_train)), list(range(n_train, len(X_search))))]

# 定义随机森林的超参数搜索空间，可根据需求调整
param_grid = {
    "n_estimators": [50, 100, 200, 300],
    "max_depth": [None, 10, 20, 30],
    "min_samples_split": [2, 5, 10],
    "min_samples_leaf": [1, 2, 4]
}

# 初始化RandomizedSearchCV
searcher = RandomizedSearchCV(
    estimator=RandomForestRegressor(random_state=42),
    param_distributions=param_grid,
    cv=custom_split,
    n_iter=30,
    scoring="neg_mean_squared_error",
    n_jobs=-1,
    random_state=42
)

# 执行超参数搜索
searcher.fit(X_search, y_search)

# 输出最优超参数
print("最优超参数组合：", searcher.best_params_)

# 用最优模型在独立测试集上做最终评估
best_rf = searcher.best_estimator_
test_r2 = best_rf.score(X_test, y_test)
print("测试集R2得分：", test_r2)

如果你不想拼接数据集，也可以用sklearn的PredefinedSplit类实现同样的效果：给每个样本设置标记，-1代表属于训练集，0代表属于验证集，将该拆分器传入cv参数即可，逻辑和上述方法完全一致。

内容的提问来源于stack exchange，提问作者user1887919