使用Label Encoder转字符串数据遇未见过标签错误的排查

尝试将CSV文件中的字符串数据转换为数值型数据时，反复遇到“previously unseen labels”错误。用LabelEncoder处理指定列（如sales_channel）仍报错；清空列列表后代码却能正常运行。后续排查发现仅booking_origin列未完成转换，错误信息为：

ValueError: y contains previously unseen label: PERVTE

初始代码 #

cat_cols = ['sales_channel', 'trip_type', 'flight_day', 'route'] 
enc = LabelEncoder()
for col in cat_cols:
     xtrain[col] = df[col].astype('str')
     xtest[col] = df[col].astype('str')

     xtrain[col] = enc.fit_transform(xtrain[col])
     xtest[col] = enc.transform(xtest[col])

修改后代码 #

cat_cols = []#'sales_channel']#, 'trip_type', 'flight_day', 'route']

enc = LabelEncoder()

for col in cat_cols:
    xtrain[col] = df[col].astype('str')
    xtest[col] = df[col].astype('str')
    
    xtrain[col] = enc.fit_transform(xtrain[col])
    xtest[col] = enc.transform(xtest[col])

1. 核心错误：测试集存在训练集未覆盖的标签
   LabelEncoder的工作逻辑是先在训练集上执行fit，学习所有标签与数值的映射关系，再用这个固定映射转换测试集。如果测试集里出现训练集从未见过的标签（比如这里的PERVTE），transform就会报错——因为编码器根本不知道这个标签该对应什么数值。

2. 代码本身的逻辑漏洞

   • 混淆了训练集/测试集与全量数据：你用全量数据集df给xtrain和xtest的列赋值，等于直接把训练集和测试集的该列替换成了全量数据，完全破坏了训练/测试的划分逻辑。
   • 所有列共用同一个LabelEncoder实例：不同列的标签是独立的，共用一个编码器会导致映射混乱（比如A列的"Online"和B列的"RoundTrip"可能被映射成同一个数值），完全不符合分类编码的要求。

3. 清空列列表后代码正常的原因
   循环因为列表为空根本没执行，等于没做任何编码操作，自然不会触发编码相关的错误，但这只是回避问题，并没有解决字符串转数值的需求。

4. booking_origin列的报错指向
   错误信息里的y说明你可能在对目标变量（或被当作目标的booking_origin列）做编码时，测试集里的PERVTE标签从未在训练集中出现过，因此触发了未见过标签的错误。

方案1：用LabelEncoder手动处理未知标签 #

严格区分训练集和测试集，为每个列单独创建编码器，并提前检查未知标签：

from sklearn.preprocessing import LabelEncoder

# 确保xtrain和xtest是已经划分好的训练/测试集
cat_cols = ['sales_channel', 'trip_type', 'flight_day', 'route', 'booking_origin'] 

for col in cat_cols:
    # 为每列单独初始化编码器
    enc = LabelEncoder()
    # 转换为字符串类型，避免非字符串数据干扰
    xtrain_col = xtrain[col].astype('str')
    xtest_col = xtest[col].astype('str')
    
    # 仅在训练集上学习映射关系
    xtrain[col] = enc.fit_transform(xtrain_col)
    
    # 检查测试集是否有训练集未见过的标签
    unseen_labels = set(xtest_col) - set(enc.classes_)
    if unseen_labels:
        print(f"列 {col} 存在未见过的标签：{unseen_labels}")
        # 可选：将未知标签替换为训练集的第一个标签，或其他默认值
        xtest_col = xtest_col.replace(unseen_labels, enc.classes_[0])
    
    # 转换测试集
    xtest[col] = enc.transform(xtest_col)

方案2：用OrdinalEncoder自动处理未知标签 #

OrdinalEncoder支持直接配置未知标签的处理方式，更简洁：

from sklearn.preprocessing import OrdinalEncoder

cat_cols = ['sales_channel', 'trip_type', 'flight_day', 'route', 'booking_origin']
# 设置未知标签编码为-1，也可以指定其他数值
enc = OrdinalEncoder(handle_unknown='use_encoded_value', unknown_value=-1)

# 仅在训练集的分类列上学习映射
xtrain[cat_cols] = enc.fit_transform(xtrain[cat_cols].astype('str'))
# 转换测试集，未知标签会自动被编码为-1
xtest[cat_cols] = enc.transform(xtest[cat_cols].astype('str'))

内容的提问来源于stack exchange，提问作者Kevin Phillips