重复嵌套CV中结果不可复现问题求助

可能的随机性来源 #

• 外/内交叉验证器未固定随机状态：你只给组件设置了random_state，但RepeatedStratifiedKFold和内部的StratifiedKFold本身如果没指定random_state，每次运行的数据集划分都会不一样，这是最常见的原因。
• 全局随机状态没锁死：sklearn部分底层操作依赖全局随机种子，仅设置单个组件的random_state可能覆盖不全。
• 隐性随机操作：比如某些预处理步骤（虽然你说transform是非随机，但要确认有没有调用其他带随机性的函数）。

具体修复步骤 #

1. 给所有交叉验证器加random_state
   内CV的StratifiedKFold要同时开启洗牌并固定种子：

   inner_cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
   

   外CV的RepeatedStratifiedKFold也必须固定随机状态：

   outer_cv = RepeatedStratifiedKFold(n_splits=5, n_repeats=10, random_state=42)
   

2. 锁死全局随机种子
   在代码最开头加上：

   import numpy as np
   import random
   import sklearn
   
   np.random.seed(42)
   random.seed(42)
   sklearn.random.seed(42)
   

   （sklearn 1.0.x版本支持sklearn.random.seed()来锁定内部随机状态）
3. 检查所有随机组件的参数
   确保PCA、LogisticRegression等所有带random_state的组件都显式设为42，比如：

   pca = PCA(n_components=10, random_state=42)
   lr = LogisticRegression(random_state=42)
   

4. 确认GridSearchCV用的是固定好的内CV
   别让GridSearchCV使用默认的交叉验证器，要把你定义的inner_cv传进去：

   grid_search = GridSearchCV(pipe, param_grid=param_grid, cv=inner_cv, scoring='accuracy')
   

验证方式 #

运行两次完全相同的代码，观察外CV的性能结果（比如平均准确率）是否完全一致。如果还是有差异，检查自定义transform里有没有隐藏的随机逻辑，或者有没有用其他第三方库的随机操作没锁种子。

内容的提问来源于stack exchange，提问作者cliffhanger-be