如何使用DataFrameMapper删除特定列含Null值的行？

要实现针对特定列的空值行删除，同时用DataFrameMapper处理其他列，有两种高效的方式：

方法一：预处理阶段直接删行 #

先过滤掉目标列含空值的行，再用DataFrameMapper处理剩余数据，逻辑简单直接：

import pandas as pd
from sklearn_pandas import DataFrameMapper
from sklearn.preprocessing import StandardScaler

# 示例数据集
df = pd.DataFrame({
    'col1': [1, 2, None, 4],
    'col2': [None, 5, 6, 7],
    'target_col': [10, None, 30, 40]
})

# 仅删除target_col为空的行
df_cleaned = df.dropna(subset=['target_col'])

# 用DataFrameMapper处理其他列
mapper = DataFrameMapper([
    ('col1', StandardScaler()),
    ('col2', StandardScaler())
], df_out=True)

processed_data = mapper.fit_transform(df_cleaned)

方法二：自定义Transformer整合进Pipeline #

如果需要把流程封装到sklearn的Pipeline中（适配交叉验证、避免数据泄露场景），可以自定义一个处理空值行的Transformer：

import pandas as pd
from sklearn.base import BaseEstimator, TransformerMixin
from sklearn_pandas import DataFrameMapper
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline

# 自定义Transformer：按指定列删除空值行
class DropNAByColumn(BaseEstimator, TransformerMixin):
    def __init__(self, column):
        self.column = column
    
    def fit(self, X, y=None):
        return self
    
    def transform(self, X):
        return X.dropna(subset=[self.column])

# 构建完整流程Pipeline
pipeline = Pipeline([
    ('drop_na_step', DropNAByColumn(column='target_col')),
    ('preprocessing_mapper', DataFrameMapper([
        ('col1', StandardScaler()),
        ('col2', StandardScaler())
    ], df_out=True))
])

# 执行预处理
processed_data = pipeline.fit_transform(df)

注意事项 #

• 优先选择先删行再预处理的逻辑，确保所有后续特征工程都是基于清理后的数据集，避免无效计算
• 用Pipeline封装后，整个流程可复用，且能和sklearn的其他组件（如模型、交叉验证器）无缝配合

内容的提问来源于stack exchange，提问作者topcan5