交叉验证场景下数据缩放、特征选择的数据泄漏最佳实践咨询

你当前的实现确实存在明确的数据泄漏问题，会直接导致交叉验证的评估结果偏乐观，无法反映模型真实泛化能力；同时交叉验证场景下必须对每个折独立执行数据缩放，所有带拟合属性的预处理操作都要遵循这个规则。

你当前的代码逻辑存在两层泄漏：

1. 提前在全量训练集上执行scaler.fit_transform()，相当于缩放用到的最小值、最大值等统计量已经包含了后续交叉验证中每折验证子集的信息，验证集数据间接参与了预处理的拟合过程
2. 特征选择器直接接收全局缩放后的全量训练集做5折交叉验证，整个特征筛选过程相当于提前“偷看”了各折验证集的分布信息，选出来的最优特征组合是适配了泄漏信息的结果，交叉验证得分会虚高。

这种泄漏的影响程度和数据特性强相关：如果特征分布极其稳定，得分偏差可能不明显；但如果数据存在离群点、分布波动大，交叉验证得到的准确率可能比真实泛化性能高10%~20%，完全失去调参和模型选择的参考价值，最终模型在留存测试集上的表现会远低于CV预期。

你需要用Pipeline把所有需要拟合的步骤（缩放、特征选择、模型）全部封装，让交叉验证过程在每折的训练子集上独立执行完整的拟合流程，从根源上避免泄漏：

from sklearn.model_selection import train_test_split
from sklearn.preprocessing import MinMaxScaler
from sklearn.pipeline import Pipeline
from mlxtend.feature_selection import ExhaustiveFeatureSelector as EFS

# 仅做训练集和留存测试集的拆分，拆分后不对任何数据集做预处理拟合
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=1)

# 构建端到端管道，所有需要fit的步骤按执行顺序放入
train_pipe = Pipeline([
    # 缩放步骤，会在CV每折的训练子集上独立fit
    ('scaler', MinMaxScaler()),
    # 特征选择步骤，内部CV也会基于每折缩放后的数据独立运行
    ('feature_selector', EFS(
        clf_tmp, 
        min_features=min_feat,
        max_features=max_feat,
        cv=5,
        n_jobs=n_jobs
    ))
])

# 在训练集上执行完整流程的拟合
train_pipe.fit(X_train, y_train)

# 最终评估时，直接用训练好的管道处理留存测试集，测试集全程不参与任何fit环节
holdout_score = train_pipe.score(X_test, y_test)

• 所有需要基于数据计算统计量的操作（缩放、缺失值填充、目标编码、特征选择、降维），只要用到交叉验证，就必须在每折的训练子集上独立fit，再transform对应折的训练和验证子集，绝对不能提前在全量训练集fit后再跑CV
• 留存测试集只能在整个训练流程（预处理、特征选择、调参、模型训练）全部完成后，用训练好的完整管道做一次transform和评估，全程不能参与任何拟合步骤
• 不要为了省事提前做全局预处理，只要预处理步骤有fit逻辑，就必须放进pipeline和CV流程绑定

内容的提问来源于stack exchange，提问作者Birk