嵌套GridSearchCV流水线缺失值填充防数据泄露：RuntimeWarning排查

这个RuntimeWarning: invalid value encountered in divide本质是数据中存在NaN或除以0的操作，结合你的流水线设计和数据集情况，从以下方向排查解决：

核心原因分析 #

1. KNNImputer填充后残留NaN #

KNNImputer依赖邻居样本填充缺失值，若交叉验证的某个fold中出现以下情况，会导致填充失败留NaN：

• 某数值特征的训练样本全部缺失（全局缺失率8-27%，但小样本fold可能出现极端情况）
• n_neighbors设置过大，超过当前fold的有效样本数（比如10折CV训练集仅90条样本，n_neighbors设为20，部分缺失样本找不到足够邻居）
  后续StandardScaler计算均值/标准差时，NaN会触发除法错误。

2. 分类特征填充后出现NaN #

SimpleImputer用most_frequent策略时，若某个fold的某分类特征所有样本都缺失，众数不存在会返回NaN；OrdinalEncoder无法处理NaN，直接将NaN带入特征矩阵，最终Lasso模型计算时触发警告。

3. 标准化时除以0 #

数值特征填充后，若某特征所有值完全相同（方差为0），StandardScaler计算标准差为0，除以0会触发该警告，甚至生成inf值。

具体排查步骤 #

1. 定位NaN来源 #

在流水线中加入自定义检测步骤，实时监控填充后的数据：

import numpy as np
from sklearn.base import BaseEstimator, TransformerMixin

class NaNDetector(BaseEstimator, TransformerMixin):
    def fit(self, X, y=None):
        return self
    def transform(self, X):
        nan_count = np.sum(np.isnan(X))
        if nan_count > 0:
            print(f"[DEBUG] NaN数量: {nan_count}")
            print(f"[DEBUG] 含NaN的列索引: {np.where(np.isnan(X).sum(axis=0) > 0)[0]}")
        return X

将其插入到每个预处理步骤之后，比如数值流水线：

numeric_pipeline = Pipeline([
    ('imputer', KNNImputer(n_neighbors=5)),
    ('nan_check', NaNDetector()),
    ('scaler', StandardScaler())
])

2. 检查零方差特征 #

在StandardScaler前加入方差检测，定位导致除以0的特征：

from sklearn.feature_selection import VarianceThreshold

class VarianceChecker(BaseEstimator, TransformerMixin):
    def fit(self, X, y=None):
        self.variances = np.var(X, axis=0)
        return self
    def transform(self, X):
        zero_var_cols = np.where(self.variances < 1e-8)[0]
        if len(zero_var_cols) > 0:
            print(f"[DEBUG] 零方差列索引: {zero_var_cols}")
        return X

添加到数值流水线：

numeric_pipeline = Pipeline([
    ('imputer', KNNImputer(n_neighbors=5)),
    ('var_check', VarianceChecker()),
    ('var_filter', VarianceThreshold(threshold=1e-8)),
    ('scaler', StandardScaler())
])

针对性解决方案 #

1. 修复KNNImputer的NaN残留 #

• 动态调整n_neighbors：根据当前fold的训练样本数设置，比如n_neighbors=min(5, len(X_train)-1)，避免邻居数超过样本量
• 替换填充策略：如果KNNImputer仍不稳定，改用SimpleImputer(strategy='median')，中位数填充更可靠，不会因邻居缺失导致NaN

2. 处理分类特征全缺失情况 #

修改分类流水线，指定默认填充值并兼容未知类别：

categorical_pipeline = Pipeline([
    ('imputer', SimpleImputer(
        strategy='most_frequent',
        fill_value='unknown'  # 全缺失时填充自定义类别
    )),
    ('encoder', OrdinalEncoder(
        handle_unknown='use_encoded_value',
        unknown_value=-1  # 未知类别编码为-1
    ))
])

3. 避免标准化除以0 #

通过VarianceThreshold提前过滤方差接近0的特征；若必须保留特征，可设置StandardScaler(with_std=False)仅做中心化，但会影响Lasso正则化效果，优先推荐前者。

额外优化建议 #

KNNImputer对特征尺度敏感，可先对非缺失值标准化再填充，自定义Transformer实现：

class ScaleBeforeImpute(BaseEstimator, TransformerMixin):
    def fit(self, X, y=None):
        self.scaler = StandardScaler()
        # 仅用非缺失值拟合scaler
        mask = ~np.isnan(X)
        self.scaler.fit(X[mask].reshape(-1, X.shape[1]))
        return self
    def transform(self, X):
        # 对非缺失值做标准化
        mask = ~np.isnan(X)
        X[mask] = self.scaler.transform(X[mask])
        return X

将其放在KNNImputer之前，提升填充效果：

numeric_pipeline = Pipeline([
    ('pre_scale', ScaleBeforeImpute()),
    ('imputer', KNNImputer(n_neighbors=5)),
    ('scaler', StandardScaler())
])

内容的提问来源于stack exchange，提问作者Grok