Scikit-learn Pipeline中OneHotEncoder对所有数据列编码而非仅类别型/对象型列的解决方法

这是个非常典型的预处理场景——默认情况下OneHotEncoder会将输入的所有特征都视为类别型数据，所以才会把你的数值列（比如SepalLengthCm这类）也做了独热编码。要实现仅对指定列或类别型列应用编码，你需要用ColumnTransformer（列转换器）来精准控制不同列的预处理逻辑，再把它整合到Pipeline中。

核心思路 #

ColumnTransformer允许你为不同的列组指定不同的转换器，同时保留其他列的原始数据（或按需丢弃）。结合DataFrame的列类型/列名，我们可以轻松区分需要独热编码的类别列和需要保留/其他处理的数值列。

完整解决方案代码 #

先保留你原来的Debug类，然后修改Pipeline的结构：

import pandas as pd
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import OneHotEncoder, StandardScaler, ColumnTransformer
from sklearn.cluster import KMeans
from sklearn.base import BaseEstimator, TransformerMixin

# 你的Debug类保持不变
class Debug(BaseEstimator, TransformerMixin):
    def transform(self, X):
        print(pd.DataFrame(X).head())
        print(X.shape)
        self.X = X
        self.df = pd.DataFrame(self.X)
        return X
    def fit(self, X, y=None, **fit_params):
        return self

# 1. 自动区分数值列和类别列
numerical_cols = df.select_dtypes(include=['int64', 'float64']).columns
categorical_cols = df.select_dtypes(include=['object']).columns

# 2. 构建列转换器：仅对类别列做独热编码，数值列直接保留
preprocessor = ColumnTransformer(
    transformers=[
        # 给类别列应用独热编码，sparse_output=False输出密集数组，handle_unknown避免新类别报错
        ('categorical_encode', OneHotEncoder(sparse_output=False, handle_unknown='ignore'), categorical_cols)
    ],
    remainder='passthrough'  # 保留未指定处理的列（这里是数值列）
)

# 3. 修改Pipeline，用preprocessor替换原来单独的OneHotEncoder
pipeline = Pipeline(steps=[
    ('preprocessor', preprocessor),
    ('debug_1', Debug()),
    ('standard_scaler', StandardScaler(with_mean=False)),
    ('debug_2', Debug()),
    ('kmeans_clustering', KMeans())
])

# 注意：直接传入DataFrame，不要转成values（会丢失列元数据）
pipeline.fit_transform(df)

关键细节说明 #

1. 为什么原来的方法失效？
   你之前用pipeline.fit_transform(df.values)把DataFrame转成了numpy数组，丢失了列名和数据类型信息，OneHotEncoder无法识别哪些是类别列，只能默认对所有列编码。直接传入DataFrame才能让ColumnTransformer正确匹配指定列。

2. 灵活扩展预处理逻辑
   如果你的数值列也需要单独的预处理（比如标准化），可以在ColumnTransformer中添加第二个转换器：

   preprocessor = ColumnTransformer(
       transformers=[
           ('cat', OneHotEncoder(sparse_output=False, handle_unknown='ignore'), categorical_cols),
           ('num', StandardScaler(with_mean=False), numerical_cols)
       ]
   )
   

   这种情况下，你可以去掉Pipeline后面的standard_scaler步骤，因为数值列已经在预处理阶段完成了标准化。

3. 手动指定列
   如果你不想自动识别类型，也可以手动指定列名：

   categorical_cols = ['Species']
   numerical_cols = ['Id', 'SepalLengthCm', 'SepalWidthCm', 'PetalLengthCm', 'PetalWidthCm']
   

这样调整后，OneHotEncoder就只会对Species列（或你指定的类别列）进行编码，数值列会被正确保留并进入后续的标准化和聚类步骤。

内容的提问来源于stack exchange，提问作者Ali H. Kudeir