使用Sklearn Pipeline时OneHotEncoder返回错误形状数据求助

OneHotEncoder会把每个类别特征的不同取值拆成独立的二进制列，直接对全量数据使用必然导致特征维度飙升——这就是你形状不匹配的核心原因。你之前没区分数值/类别特征，把所有列都丢给OneHotEncoder处理，连数值列都被当成类别展开了，最终特征数远超14。

用ColumnTransformer精准控制特征处理逻辑：只对非数值特征做独热编码，数值特征保持原样（或做标准化等处理），最后合并所有特征，确保维度符合预期。

代码示例 #

假设你已经拆分好数值特征列名列表num_features和非数值特征列名列表cat_features：

from sklearn.pipeline import Pipeline
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder, StandardScaler

# 定义列处理器：分类型处理不同特征
preprocessor = ColumnTransformer(
    transformers=[
        # 数值特征可按需做标准化（也可以直接用'passthrough'跳过处理）
        ('numeric', StandardScaler(), num_features),
        # 类别特征独热编码，drop='first'避免多重共线性，同时减少冗余列
        ('categorical', OneHotEncoder(drop='first'), cat_features)
    ])

# 构建完整Pipeline
pipeline = Pipeline(steps=[
    ('preprocess', preprocessor),
    # 后续可添加模型等步骤
])

# 拟合并转换数据
processed_data = pipeline.fit_transform(your_dataset)

# 验证形状
print(processed_data.shape)

关键注意事项 #

• 必须明确指定类别特征列，绝对不能让OneHotEncoder处理所有列，否则数值列会被误判为类别，导致特征数爆炸
• 如果要严格保证最终特征数为14，需提前计算：数值特征数 + (每个类别特征的类别数 - 1) = 14（drop='first'会让每个类别特征减少1列）。如果不满足这个条件，考虑改用OrdinalEncoder（适合有序类别）替代OneHotEncoder，它不会增加特征列数
• 不要手动调用toarray()或resize()修改数组，Sklearn的组件会自动处理数据格式，手动操作极易破坏数据结构

内容的提问来源于stack exchange，提问作者hyper-cookie