使用LabelEncoder与OneHotEncoder后，如何还原XGBoost特征重要性的原始变量名

嘿，这个问题我在做XGBoost分类任务时也踩过坑！当你混合使用LabelEncoder和OneHotEncoder后，特征重要性里的特征名没法对应回原始数据，核心原因是编码过程中丢失了特征名与原始类别/列的映射关系。下面给你几个实用的解决方案，从预防到回溯都有：

1. 提前追踪LabelEncoder的映射（针对序数特征） #

LabelEncoder只是把类别转成整数，不会拆分特征列，但要保留每个特征的编码器实例，方便后续还原和对应特征名：

import pandas as pd
from sklearn.preprocessing import LabelEncoder

# 假设你有一组序数特征列
ordinal_cols = ["education_level", "income_bracket"]
le_mapping = {}

for col in ordinal_cols:
    le = LabelEncoder()
    # 训练并转换训练集
    x_train[col] = le.fit_transform(x_train[col])
    # 保存编码器实例，键是原始列名
    le_mapping[col] = le

# 后续要还原编码值的话：
# le_mapping["education_level"].inverse_transform(x_train["education_level"])

用这种方式处理的特征，在特征重要性里的名称就是原始列名，不需要额外映射。

2. 让OneHotEncoder生成带原始特征名的新列（针对名义特征） #

OneHotEncoder会把单个类别特征拆成多个二进制列，默认的列名是x0_0这种无意义的名称，我们可以让它生成带原始特征名的列名：

from sklearn.preprocessing import OneHotEncoder

# 假设你有一组名义特征列
nominal_cols = ["city", "product_category"]
# 开启feature_name_combiner参数（sklearn 1.2+支持），直接拼接原始列名和类别
ohe = OneHotEncoder(sparse_output=False, feature_name_combiner="concat")
ohe.fit(x_train[nominal_cols])

# 获取编码后的特征名，格式为"原始列名_类别值"
encoded_feature_names = ohe.get_feature_names_out(nominal_cols)
# 转换数据并转成DataFrame，用新列名命名
x_train_ohe = pd.DataFrame(ohe.transform(x_train[nominal_cols]), columns=encoded_feature_names)

这样生成的列名比如是city_NewYork、product_category_Electronics，特征重要性里的名称就能直接对应到原始特征和类别。

3. 用ColumnTransformer统一管理预处理（最规范的做法） #

手动处理多个编码器容易出错，用sklearn的ColumnTransformer把所有预处理步骤打包，能自动追踪所有特征的名称：

from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline

# 定义不同类型特征的预处理管道
ordinal_pipeline = Pipeline(steps=[("le", LabelEncoder())])
onehot_pipeline = Pipeline(steps=[("ohe", OneHotEncoder(sparse_output=False, feature_name_combiner="concat"))])

# 整合所有预处理逻辑
preprocessor = ColumnTransformer(
    transformers=[
        ("ordinal", ordinal_pipeline, ordinal_cols),
        ("onehot", onehot_pipeline, nominal_cols),
        ("numeric", "passthrough", ["age", "purchase_amount"])  # 数值列直接保留
    ]
)

# 拟合预处理并转换训练数据
x_train_processed = preprocessor.fit_transform(x_train)
# 获取所有处理后的特征名
all_feature_names = preprocessor.get_feature_names_out()

训练XGBoost时，把all_feature_names传给模型的feature_names参数：

import xgboost as xgb
import matplotlib.pyplot as plt

# 用交叉验证得到的最优参数初始化模型
tuned_model = xgb.XGBClassifier(**your_tuned_params)
# 传入特征名，让模型记住每个特征的名称
tuned_model.fit(x_train_processed, y_train, feature_names=all_feature_names)

# 生成特征重要性图，直接显示原始特征相关的名称
xgb.plot_importance(tuned_model, importance_type="weight")
plt.show()

4. 如果已经训练完模型，怎么回溯映射？ #

要是你已经训练完模型才发现没法对应，也可以回溯：

• 对于LabelEncoder处理的列：特征重要性里的名称就是原始列名，直接对应即可
• 对于OneHotEncoder处理的列：重新跑一遍ohe.fit()，用ohe.categories_获取每个原始列的类别，手动拼接成[f"{col}_{cat}" for col, cats in zip(nominal_cols, ohe.categories_) for cat in cats]，然后和模型的feature_names对应

小提醒 #

注意区分序数特征（有顺序关系，比如低/中/高）和名义特征（无顺序关系，比如城市、颜色）：序数特征用LabelEncoder没问题，名义特征一定要用OneHotEncoder，避免模型学习到不存在的顺序关系哦！

内容的提问来源于stack exchange，提问作者NLR