LabelEncoder.transform报y contains previously unseen labels错误

触发y contains previously unseen labels异常有两个核心原因：

• 你使用了同一个LabelEncoder实例le处理4个完全独立的分类特征，每次调用fit/fit_transform都会覆盖编码器之前存储的类别映射表，最终转换测试集时，编码器仅保存了最后一次拟合特征的类别规则，其余列的所有值对它来说都是未收录标签，直接触发报错。
• 即便为每个特征单独分配编码器，LabelEncoder本身没有内置未知值处理逻辑，如果测试集存在训练集拟合阶段从未出现过的类别值，同样会抛出该异常。

根据你的使用场景，可选择以下两种修复方案：

方案1：修正LabelEncoder的错误用法，单独处理未知标签 #

• 为每一个分类列初始化独立的LabelEncoder实例，严格遵守仅在训练集数据上拟合编码器的规则，禁止跨列复用编码器、禁止在测试集上做拟合操作，避免数据泄露和映射覆盖。
  参考代码如下：

  from sklearn.preprocessing import LabelEncoder
  # 每个分类特征单独初始化编码器
  le_gender = LabelEncoder()
  le_age = LabelEncoder()
  le_city = LabelEncoder()
  le_stay = LabelEncoder()
  
  # 仅在训练集对应列执行拟合+转换
  X_train['Gender'] = le_gender.fit_transform(X_train['Gender'])
  X_train['Age'] = le_age.fit_transform(X_train['Age'])
  X_train['City_Category'] = le_city.fit_transform(X_train['City_Category'])
  X_train['Stay_In_Current_City_Years'] = le_stay.fit_transform(X_train['Stay_In_Current_City_Years'])
  
  # 测试集使用对应特征训练好的编码器做转换
  X_test['Gender'] = le_gender.transform(X_test['Gender'])
  X_test['Age'] = le_age.transform(X_test['Age'])
  X_test['City_Category'] = le_city.transform(X_test['City_Category'])
  X_test['Stay_In_Current_City_Years'] = le_stay.transform(X_test['Stay_In_Current_City_Years'])
  

• 针对测试集可能出现的未知标签，提前预留未知类编码位：拟合编码器时手动加入自定义的未知标识（如'UNKNOWN'），转换测试集前先把所有不在训练集类别集合里的值替换为'UNKNOWN'，再执行transform操作。
  以性别列为例的处理代码：

  # 收集训练集该列所有已知类别
  known_gender = set(X_train['Gender'].unique())
  # 测试集未知值统一替换为UNKNOWN
  X_test['Gender'] = X_test['Gender'].apply(lambda x: x if x in known_gender else 'UNKNOWN')
  # 拟合时将UNKNOWN加入类别列表
  le_gender.fit(list(X_train['Gender'].unique()) + ['UNKNOWN'])
  X_test['Gender'] = le_gender.transform(X_test['Gender'])
  

方案2：换用支持自动处理未知值的编码器（推荐） #

如果使用scikit-learn 1.0及以上版本，直接用OrdinalEncoder替代LabelEncoder做分类特征编码即可，它原生支持多列批量处理，还可以通过参数指定未知值的编码规则，不需要手动做值替换，代码更简洁也不容易出错。
参考代码如下：

from sklearn.preprocessing import OrdinalEncoder
# 初始化编码器，设置遇到未知值时统一编码为-1
oe = OrdinalEncoder(handle_unknown='use_encoded_value', unknown_value=-1)
cat_cols = ['Gender', 'Age', 'City_Category', 'Stay_In_Current_City_Years']
# 训练集拟合并转换
X_train[cat_cols] = oe.fit_transform(X_train[cat_cols])
# 测试集直接转换，未知值会自动编码为预设的-1，不会抛出异常
X_test[cat_cols] = oe.transform(X_test[cat_cols])

注意：所有特征预处理的拟合操作只能在训练集上执行，绝对不能用测试集、全量数据拟合编码器，否则会造成数据泄露，导致模型离线验证结果虚高、上线后效果暴跌。

内容的提问来源于stack exchange，提问作者Nil