如何优化sklearn数据预处理中的One-Hot Encoding独热编码流程

原有流程的核心逻辑（先拆分训练测试集、再基于训练集拟合编码器处理测试集）是正确的，没有数据泄露问题，优化方向主要是提升代码可维护性、鲁棒性和扩展性，具体优化点和实现如下：

原有流程可改进点 #

• 提前将DataFrame转为numpy数组后用索引取列，容易因为数据集列顺序变动导致逻辑错误，代码可读性差
• 硬编码X_train[:,:3]做特征拼接，后续调整特征列时需要同步修改索引，维护成本高
• 频繁手动删除中间变量无意义，反而降低代码可读性
• 没有对测试集未知分类值做兼容，遇到训练集不存在的类别会直接报错
• 拆分数据集没有固定随机种子，结果不可复现

优化后实现代码 #

import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import OneHotEncoder
from sklearn.compose import ColumnTransformer

# 直接基于DataFrame列名拆分特征和标签，避免硬编码索引
X = data_df.iloc[:, :8]
y = data_df.iloc[:, 8]
# 固定random_state保证数据集划分可复现
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42)

categorical_cols = ['emp','ed','st','jb','br']
# 自动筛选数值列，不需要手动计算索引
numerical_cols = X.columns.difference(categorical_cols)

# 用ColumnTransformer统一管理不同列的预处理逻辑
preprocessor = ColumnTransformer(
    transformers=[
        # 数值列直接透传不做处理
        ('numerical', 'passthrough', numerical_cols),
        # 分类列做独热编码，兼容测试集未知类别
        ('categorical', OneHotEncoder(sparse_output=False, handle_unknown='ignore'), categorical_cols)
    ]
)

# 直接生成处理后的特征，不需要手动拼接
X_train_new = preprocessor.fit_transform(X_train)
X_test_new = preprocessor.transform(X_test)

优化收益 #

• 消除所有硬编码索引，列选择完全基于列名，就算后续数据集列顺序调整也不会出错
• 自动完成不同类型特征的拼接，不需要手动处理维度对齐问题
• 新增handle_unknown='ignore'参数，测试集出现训练集不存在的分类值时会自动编码为全0，不会中断流程
• 固定随机种子，每次运行的数据集划分一致，方便调试和效果对比
• 预处理逻辑可直接接入sklearn Pipeline，和模型训练步骤串联，后续新增预处理规则（比如数值列标准化、分类列换序数编码）只需要修改ColumnTransformer配置即可，不需要调整整体流程
• 去掉无意义的变量删除操作，代码更简洁易读

内容的提问来源于stack exchange，提问作者Daniil Yefimov