当sklearn Imputer均值策略失效时，如何用默认值填充NaN？

我在使用sklearn.preprocessing.Imputer（注：新版本Scikit-learn已将其替换为sklearn.impute.SimpleImputer）按列方向（axis=0）用均值策略填充NaN值时遇到了一个问题：当某列所有值都是NaN（比如只有一条数据的列），Imputer无法计算均值，会直接移除该列，但我希望用默认值0填充这些列而不是移除它们。

目前我采用的处理方式是遍历所有列，检查列是否全为NaN，若是则填充为0，代码如下：

# Loop over all columns in data
for column in data.T:
    # Check if all values in column are NaN
    if all(np.isnan(value) for value in column):
        # Fill the column with default value 0
        column.fill(0)

想请教各位：有没有更优雅的方式来处理这种「整列全NaN导致填充策略失效时用默认值替代」的场景？

方法1：用Pandas批量处理全NaN列，再结合SimpleImputer #

Pandas的向量化操作比手动循环高效得多，我们可以先一次性识别并填充所有全NaN的列为0，再对剩下的列执行均值填充，逻辑清晰且代码简洁：

import pandas as pd
import numpy as np
from sklearn.impute import SimpleImputer

# 假设data是Pandas DataFrame格式
# 批量填充全NaN的列为0
data = data.apply(lambda col: col.fillna(0) if col.isna().all() else col, axis=0)

# 对剩余NaN值执行均值填充
imputer = SimpleImputer(strategy='mean')
# 若需保留DataFrame格式，可将转换结果转回DataFrame
data_imputed = pd.DataFrame(imputer.fit_transform(data), columns=data.columns)

方法2：自定义Transformer整合到Scikit-learn Pipeline #

如果你的工作流依赖Scikit-learn的Pipeline（比如后续要结合其他预处理或模型），可以编写一个自定义Transformer先处理全NaN列，再接入SimpleImputer，这样整个流程可以标准化：

from sklearn.base import BaseEstimator, TransformerMixin
from sklearn.impute import SimpleImputer
from sklearn.pipeline import Pipeline
import numpy as np

class FillAllNaNColumns(BaseEstimator, TransformerMixin):
    def fit(self, X, y=None):
        # 训练阶段记录哪些列是全NaN的
        self.all_nan_mask = np.all(np.isnan(X), axis=0)
        return self
    
    def transform(self, X, y=None):
        # 复制数据避免修改原始输入
        X_processed = X.copy()
        # 对全NaN列填充0
        X_processed[:, self.all_nan_mask] = 0
        return X_processed

# 构建完整的预处理Pipeline
preprocessing_pipeline = Pipeline([
    ("fill_all_nan", FillAllNaNColumns()),
    ("mean_impute", SimpleImputer(strategy="mean"))
])

# 拟合并转换数据（支持NumPy数组或Pandas DataFrame）
data_imputed = preprocessing_pipeline.fit_transform(data)

为什么这些方法更优雅？ #

• 效率更高：Pandas的向量化操作或NumPy的掩码操作比手动循环的效率高出几个数量级，尤其当数据量较大时优势明显。
• 可维护性强：代码逻辑模块化，分离了「全NaN列处理」和「均值填充」两个步骤，可读性和可维护性更好。
• 适配机器学习工作流：自定义Transformer的方式可以无缝融入Scikit-learn的生态，方便和其他预处理步骤、模型训练流程整合。

内容的提问来源于stack exchange，提问作者Thijs van Ede