使用xgb.train训练模型后如何计算排列变量重要性

报错核心原因：sklearn.inspection.permutation_importance 要求传入的模型必须符合Scikit-learn评估器规范，实现fit、predict等标准接口，而xgb.train()返回的是原生Booster对象，没有适配Sklearn接口，因此触发类型错误。

方案1：手动实现排列重要性逻辑（无需修改模型） #

排列重要性的核心逻辑非常简单，无需依赖Sklearn的封装即可自行实现：

import numpy as np
import xgboost as xgb
# 分类任务用accuracy_score，回归任务可替换为r2_score、mean_squared_error等
from sklearn.metrics import accuracy_score

# 1. 计算测试集基准得分
dtest = xgb.DMatrix(x_test, label=y_test)
y_pred_base = model.predict(dtest)
# 分类任务如果需要输出类别，可打开下行注释（以二分类为例）
# y_pred_base = (y_pred_base > 0.5).astype(int)
base_score = accuracy_score(y_test, y_pred_base)

# 2. 遍历所有特征计算排列重要性
n_repeats = 5 # 打乱重复次数，和Sklearn默认参数一致
feat_importance = np.zeros((x_test.shape[1], n_repeats))

for col_idx in range(x_test.shape[1]):
    for repeat in range(n_repeats):
        # 仅打乱当前特征的取值
        x_test_perm = x_test.copy()
        x_test_perm.iloc[:, col_idx] = np.random.permutation(x_test_perm.iloc[:, col_idx])
        # 计算打乱后的预测得分
        dtest_perm = xgb.DMatrix(x_test_perm)
        y_pred_perm = model.predict(dtest_perm)
        # y_pred_perm = (y_pred_perm > 0.5).astype(int)
        perm_score = accuracy_score(y_test, y_pred_perm)
        # 重要性 = 基准得分 - 打乱后得分，数值越大特征越重要
        feat_importance[col_idx, repeat] = base_score - perm_score

# 输出最终结果：每个特征的平均重要性和标准差
perm_importance_mean = feat_importance.mean(axis=1)
perm_importance_std = feat_importance.std(axis=1)

方案2：封装Booster为Sklearn兼容评估器 #

如果需要直接调用Sklearn的permutation_importance函数，只需要对原生Booster做简单的接口封装即可：

import xgboost as xgb
from sklearn.base import BaseEstimator, ClassifierMixin
# 回归任务替换为 from sklearn.base import BaseEstimator, RegressorMixin
from sklearn.inspection import permutation_importance

class XGBBoosterAdapter(BaseEstimator, ClassifierMixin):
    def __init__(self, booster, threshold=0.5):
        self.booster = booster
        self.threshold = threshold # 分类任务的判断阈值，回归任务可删除
    
    def fit(self, X, y=None):
        # 模型已提前训练完成，fit直接返回自身即可
        return self
    
    def predict(self, X):
        dmatrix = xgb.DMatrix(X)
        pred = self.booster.predict(dmatrix)
        # 分类任务输出类别，回归任务直接返回pred即可
        return (pred > self.threshold).astype(int)

# 封装模型后即可直接调用Sklearn接口
wrapped_model = XGBBoosterAdapter(model)
perm_importance = permutation_importance(wrapped_model, x_test, y_test, random_state=7)

方案选择建议：

• 手动实现：逻辑透明灵活，可自定义评估规则，适合仅需单次计算排列重要性的场景
• 接口封装：可复用Sklearn生态所有工具函数，适合后续需要对接其他Sklearn组件的场景

内容的提问来源于stack exchange，提问作者Joy