Sklearn Pipeline中自定义Transformer使用异常：输出出现重复特征列

看起来你遇到的问题是对Sklearn Pipeline的使用场景理解有误，再加上自定义Transformer的行为和Pipeline的串行逻辑不匹配导致的。我来帮你拆解问题并给出解决方案：

问题根源分析 #

1. Pipeline的串行特性：Sklearn的Pipeline是按顺序串行处理整个数据集，每个步骤的输出会作为下一个步骤的输入。也就是说，第一个Transformer处理完数据后，生成的新数据集（原列+新增列）会被传入第二个Transformer，而第二个Transformer又会基于这个包含新增列的数据集进行处理。
2. 自定义Transformer的行为：从你的描述来看，你的自定义Transformer应该是在原DataFrame基础上添加新特征列，同时保留原输入列。比如DateTimeTransformer处理完Arrival Time后，会保留原Arrival Time列并新增6个时间特征列；KBinTransformer处理Age后保留原Age列并新增1个分箱列。
3. 错误的steps格式：你代码中把steps定义成了字典，这是不符合Sklearn Pipeline要求的！Pipeline的steps参数必须是列表形式的(名称, 转换器)元组，字典可能会导致不可预期的执行顺序或重复执行问题，这也是你出现重复列的潜在诱因。

正确的解决方案：使用ColumnTransformer #

你的需求是对不同列应用不同的Transformer并合并结果，这正是ColumnTransformer的适用场景，而不是Pipeline。ColumnTransformer可以并行处理不同的列子集，然后把处理后的结果拼接在一起，完全避免串行处理导致的重复问题。

步骤1：修正自定义Transformer的行为 #

确保你的自定义Transformer只处理指定目标列，并且返回处理后的特征列（可选择保留原列或不保留）。比如：

• DateTimeTransformer仅处理Arrival Time列，生成6个时间特征列
• KBinTransformer仅处理Age列，生成1个分箱列

步骤2：用ColumnTransformer替代Pipeline #

示例代码如下：

from sklearn.compose import ColumnTransformer

# 定义不同列的转换器规则
preprocessor = ColumnTransformer(
    transformers=[
        # 对Arrival Time列应用DateTimeTransformer
        ("date_time", DateTimeTransformer(), ["Arrival Time"]),
        # 对Age列应用KBinTransformer
        ("k_bin", KBinTransformer(), ["Age"])
    ],
    # 如果需要保留Name、class这类未处理的列，设置remainder='passthrough'
    remainder='passthrough'
)

# 拟合并转换数据
preprocessor.fit(df)
transformed_df = preprocessor.transform(df)

这样ColumnTransformer会分别对指定列应用对应Transformer，然后自动拼接处理后的特征列和保留的原列，不会出现重复特征的问题。

额外注意事项 #

1. 自定义Transformer的API规范：确保你的自定义Transformer实现了Sklearn要求的fit和transform方法，transform方法返回二维数组或DataFrame（返回DataFrame更便于后续列名管理）。
2. Pipeline结合ColumnTransformer：如果后续需要对拼接后的特征做进一步处理（比如标准化、建模），可以把ColumnTransformer作为Pipeline的第一个步骤，示例如下：

from sklearn.pipeline import Pipeline
from sklearn.linear_model import LogisticRegression

full_pipeline = Pipeline([
    ("preprocessor", preprocessor),
    ("classifier", LogisticRegression())
])

# 端到端执行拟合和预测
full_pipeline.fit(df, df['class'])
predictions = full_pipeline.predict(df)

备注：内容来源于stack exchange，提问作者winter