自定义Sklearn转换器单独运行正常，接入Pipeline后行维度缩减问题排查

嘿，我之前也踩过类似的Sklearn Pipeline行数缩减的坑，咱们一步步来揪出问题所在！

首先明确核心问题：你的转换器单独运行正常，但接入Pipeline后行数变少，这大概率是转换器的transform方法里悄悄丢了行——毕竟单独测试时你可能用的是完整/规整的数据，但Pipeline（尤其是配合网格搜索、交叉验证时）会拆分数据，触发了你没注意到的行过滤逻辑。

最常见的几个坑&排查步骤 #

1. 不小心在transform里过滤了行

这是最普遍的原因！你得检查代码里有没有这些操作：

• 用了dropna()、drop()这类直接删行的方法
• 用布尔索引（比如X = X[X['col'] > 0]）过滤样本，但没考虑到Pipeline中部分数据会触发这个过滤条件
• 处理分类特征时，用map()转换后出现NaN，然后顺手删了含NaN的行

排查方法：在transform方法的开头和结尾加打印，明确行数变化的节点：

def transform(self, X, y=None):
    print(f"输入行数: {X.shape[0]}")
    # --- 你的处理逻辑 ---
    transformed = ...
    print(f"输出行数: {transformed.shape[0]}")
    return transformed

如果这里输出行数比输入少，那问题就出在你的处理逻辑里。

2. 新生成的列和原数据索引不匹配

如果你在转换器里创建了新列，但没保留原数据的索引，就可能导致行丢失：

# 错误示例：新生成的Series没有匹配原索引
def transform(self, X, y=None):
    X_new = X.copy()
    # 这里生成的new_values如果是列表/数组，没指定索引，可能和原X行数对不上
    new_values = [x*2 for x in X['col1']]
    X_new['new_col'] = pd.Series(new_values)  # 没指定index=X.index
    return X_new

修正方式：创建新列时必须绑定原数据的索引：

X_new['new_col'] = pd.Series(new_values, index=X.index)

3. fit和transform的逻辑不兼容

如果你的fit方法保存了训练集的某些状态（比如类别映射、统计值），在transform测试集时，可能因为测试集有训练集没有的情况，导致生成NaN，进而触发行过滤：

# 错误示例：处理未知类别时丢行
def fit(self, X, y=None):
    # 只保存了训练集里出现过的类别映射
    self.cat_map = X['cat_col'].unique().tolist()
    return self

def transform(self, X, y=None):
    X_new = X.copy()
    # 测试集里的未知类别会变成NaN
    X_new['cat_encoded'] = X_new['cat_col'].apply(lambda x: self.cat_map.index(x) if x in self.cat_map else None)
    # 这里dropna直接删了含未知类别的行
    X_new = X_new.dropna(subset=['cat_encoded'])
    return X_new

修正方式：提前处理未知类别，比如给未知类别分配默认值，或者用Sklearn自带编码器的handle_unknown='ignore'参数。

通用调试技巧 #

在转换器的transform方法末尾加断言，强制验证行数一致，能快速发现问题：

def transform(self, X, y=None):
    transformed = ...
    # 断言行数必须和输入一致，不一致直接报错
    assert transformed.shape[0] == X.shape[0], f"行数不匹配！输入{X.shape[0]}行，输出{transformed.shape[0]}行"
    return transformed

总结 #

先通过打印定位行数减少的具体位置，然后检查是否有行过滤操作、索引匹配问题、fit/transform逻辑兼容性问题——这几个点几乎覆盖了Pipeline中行数缩减的所有常见原因。

内容的提问来源于stack exchange，提问作者swepab