scikit-learn FeatureUnion结合RFE运行无响应问题排查求助

核心错误原因 #

1. FeatureUnion的使用逻辑错误 #

FeatureUnion的作用是同时运行多个特征提取器，将各自输出的特征拼接合并，而非按顺序执行特征筛选。你的版本2中：

• 差异甲基化筛选后得到数百个特征，但RFE会直接在原始30万+特征上独立运行（FeatureUnion让两个选择器各自处理原始输入），这和版本1中RFE处理降维后数据的场景完全不同。
• RFE本身需要反复训练模型并迭代剔除特征，在30万级特征上的计算量是版本1的数千倍，直接导致程序无法在合理时间内完成，甚至因资源耗尽陷入假死。

2. 自定义Transformer的数据泄露 #

你在初始化DifferentialMethylation时传入了全局的y_train，这意味着交叉验证的每个fold中，该类都会用整个训练集的标签做差异分析，而非当前fold的训练子集——完全违背了将差异分析放入交叉验证以避免数据泄露的初衷，同时可能导致后续RFE的输入特征异常。

3. 并行嵌套引发资源冲突 #

GridSearchCV设置了n_jobs=-1（用尽所有CPU核），而RFE中的RandomForest也设置了n_jobs=-1，这会导致并行嵌套：每个GridSearch的进程/线程会再启动16个新线程，瞬间耗尽CPU和内存资源，引发死锁或程序无响应。

修复方案 #

步骤1：用Pipeline替代FeatureUnion，恢复顺序执行逻辑 #

将差异甲基化筛选和RFE改为按顺序执行的Pipeline，让RFE处理差异分析后的降维数据，既保持版本1的高效性，又全程在交叉验证内部执行，避免数据泄露：

X_train, X_test, y_train, y_test = train_test_split(df, cancerType, test_size=0.2, random_state=42)

# 修复：初始化时不再传入全局y_train
differentialMethylation = DifferentialMethylation(name=name)
# 避免并行嵌套：将RFE中estimator的n_jobs设为1
rfeFeatureSelection = RFE(estimator=RandomForestClassifier(n_estimators=100, random_state=42, n_jobs=1))
randomForest = RandomForestClassifier(random_state=42)

# 用Pipeline按顺序执行特征筛选
featurePipeline = Pipeline([
    ("differentialMethylation", differentialMethylation),
    ("rfeFeatureSelection", rfeFeatureSelection)
])

stratified_cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)

pipeline = Pipeline([
    ("featureSelection", featurePipeline),
    ('modelRefinement', randomForest)
])

search = GridSearchCV(pipeline,
                    param_grid=parameterGrid,
                    scoring='accuracy',
                    cv=stratified_cv,
                    verbose=2,
                    n_jobs=-1,
                    pre_dispatch='2*n_jobs',
                    error_score='raise',
                    )
search.fit(X_train, y_train)

步骤2：修复自定义DifferentialMethylation类 #

确保类符合sklearn Transformer规范，在fit方法中接收当前fold的X和y，而非初始化时传入全局标签：

from sklearn.base import BaseEstimator, TransformerMixin

class DifferentialMethylation(BaseEstimator, TransformerMixin):
    def __init__(self, name):  # 移除truthValues参数
        self.name = name
        self.selected_features = None

    def fit(self, X, y):
        # 用当前fold的X和y执行差异甲基化分析
        self.selected_features = self._run_differential_analysis(X, y)
        return self

    def transform(self, X):
        # 返回筛选后的特征
        return X[self.selected_features]

    def _run_differential_analysis(self, X, y):
        # 替换为你的差异甲基化分析实现
        # 输入当前fold的X和y，输出选中的特征名列表
        pass

步骤3：解决并行嵌套问题 #

二选一即可：

• 保持GridSearchCV的n_jobs=-1，将RFE中estimator的n_jobs设为1；
• 保持RFE中estimator的n_jobs=-1，将GridSearchCV的n_jobs设为1（整体速度会稍慢）。

验证逻辑 #

修复后，每个交叉验证fold的执行流程为：

1. 获取当前fold的训练子集X_fold_train和y_fold_train；
2. 用该子集执行差异甲基化分析，筛选出数百个特征；
3. 用筛选后的特征训练RFE，进一步优化特征集；
4. 用最终特征训练RandomForest并验证；
   全程无数据泄露，计算量与版本1接近，可在合理时间内完成。

内容的提问来源于stack exchange，提问作者Ben