如何分别对训练集和测试集多列进行LabelEncoder编码及解决报错问题

这个报错的核心原因很明确：你在多列分类变量上复用了同一个LabelEncoder实例，这完全违背了LabelEncoder的设计逻辑——它只能针对单一列的标签集合进行拟合和转换，跨列使用必然会出现标签不匹配的问题。

为什么会报错？ #

当你调用X_train.apply(le.fit_transform)时，LabelEncoder会先对第一列做fit，记住该列的所有标签；接着处理第二列时，它会用已经拟合好的（第一列的）标签集合去转换第二列的内容，如果第二列的标签（比如female/male）不在第一列的标签集合里，直接就会抛出「存在新标签」的错误。测试集的报错也是同理，复用了已经被其他列污染的LabelEncoder实例。

正确的解决方案 #

下面提供两种工业界常用的解决方法，推荐第二种更简洁的官方方案：

方法1：为每列单独创建LabelEncoder实例

手动为每个分类列维护独立的LabelEncoder，确保拟合和转换的对应关系：

from sklearn.preprocessing import LabelEncoder
import pandas as pd

# 先明确你的分类变量列名
categorical_columns = ['Sex', '你的其他分类列1', '你的其他分类列2']

# 用字典存储每列对应的LabelEncoder
label_encoders = {}

# 处理训练集：对每列单独拟合并转换
for col in categorical_columns:
    le = LabelEncoder()
    X_train[col] = le.fit_transform(X_train[col])
    label_encoders[col] = le  # 保存该列的编码器

# 处理测试集：用对应列的编码器转换
for col in categorical_columns:
    # 可选：提前校验测试集是否有训练集未见过的标签
    unseen_labels = set(X_test[col]) - set(label_encoders[col].classes_)
    if unseen_labels:
        raise ValueError(f"测试集的{col}列存在训练集未出现的标签: {unseen_labels}")
    X_test[col] = label_encoders[col].transform(X_test[col])

方法2：使用ColumnTransformer + OrdinalEncoder（推荐）

Sklearn官方更推荐用OrdinalEncoder处理特征中的分类变量（LabelEncoder更适合目标变量y的编码），配合ColumnTransformer可以精准指定要处理的列，无需手动管理多个编码器：

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OrdinalEncoder

# 指定需要编码的分类列
categorical_columns = ['Sex', '你的其他分类列1', '你的其他分类列2']

# 创建预处理管道：仅对分类列应用OrdinalEncoder，其他列保持原样
preprocessor = ColumnTransformer(
    transformers=[
        ('categorical_encoder', OrdinalEncoder(), categorical_columns)
    ],
    remainder='passthrough'  # 非分类列直接保留，不做处理
)

# 拟合训练集并转换
X_train_processed = preprocessor.fit_transform(X_train)

# 直接转换测试集（使用训练集拟合的编码器规则）
X_test_processed = preprocessor.transform(X_test)

额外注意事项 #

• 如果测试集出现训练集未见过的标签，你需要提前处理：要么将这些新标签映射为训练集中的某一类（比如「其他」），要么在训练阶段就收集更全面的标签数据，否则任何编码器都会报错。
• 对于RandomForest这类树模型，OrdinalEncoder的编码方式完全适用（树模型不关心变量的数值顺序）；如果是线性模型，则更推荐用OneHotEncoder做独热编码。

内容的提问来源于stack exchange，提问作者Naveen Singh