Sklearn自定义清洗转换器入Pipeline报错：列名长度不匹配咨询

你的推测完全正确——问题核心就是RemoveDuplicateColumns删除列后，FillOutliers在fit阶段记录的列信息和transform阶段的实际列不匹配。必须在自定义转换器中手动处理列名，确保每个转换器都能跟踪当前数据的列状态，具体做法如下：

• 让列删除类转换器记录保留列：在RemoveDuplicateColumns的fit方法中，把最终保留的列名存为实例属性（比如self.remaining_columns），transform时严格返回这些列的数据。这样后续转换器拿到的就是经过列过滤后的数据集。
• 让列处理类转换器基于当前列学习：FillOutliers不能提前假设列的数量和名称，要在fit时从传入的X中动态获取当前存在的数值列，记录这些列的填充规则（比如中位数、均值），transform时只处理这些记录过的列，避免引用已被删除的列。
• 确保序列化兼容性：自定义转换器要继承BaseEstimator和TransformerMixin，并且实例属性要能被pickle序列化（比如用普通列表、字符串，避免不可序列化的对象），这样Pipeline保存加载后，列名等状态信息不会丢失。

举个简化的代码示例：

RemoveDuplicateColumns 实现 #

from sklearn.base import BaseEstimator, TransformerMixin
import pandas as pd

class RemoveDuplicateColumns(BaseEstimator, TransformerMixin):
    def fit(self, X, y=None):
        # 检测重复列（按列值去重）
        self.remaining_columns = X.columns[~X.T.duplicated(keep='first')]
        return self
    
    def transform(self, X):
        # 只返回保留的列
        return X[self.remaining_columns]

FillOutliers 实现 #

class FillOutliers(BaseEstimator, TransformerMixin):
    def fit(self, X, y=None):
        # 动态获取当前数据中的数值列
        self.target_cols = X.select_dtypes(include=['int64', 'float64']).columns
        # 学习每个数值列的中位数（作为填充值）
        self.fill_stats = X[self.target_cols].median()
        return self
    
    def transform(self, X):
        X_transformed = X.copy()
        # 仅对记录过的列进行填充
        X_transformed[self.target_cols] = X_transformed[self.target_cols].fillna(self.fill_stats)
        return X_transformed

这样组合成Pipeline后，fit阶段每个转换器都会基于前一步的输出数据更新自身的列状态，保存加载后，这些状态会被正确恢复，transform时就不会出现列长度不匹配的错误。

内容的提问来源于stack exchange，提问作者winter