多分类任务中Permutation Feature Importance的实现问题求助

错误原因拆解 #

1. 第一个报错（ValueError）：你指定的评分指标默认采用了二分类的average='binary'设置，但多分类任务不支持该参数值。比如当你传入scoring='f1'时，sklearn默认会用二分类的F1计算逻辑，这与多分类场景冲突。
2. 第二个报错（TypeError）：permutation_importance函数本身没有average参数，这个参数属于具体的评分指标函数（如f1_score、precision_score），直接传给permutation_importance自然会触发参数错误。

正确解决方案 #

要在多分类任务中计算置换特征重要性，需将average参数传递给评分指标而非permutation_importance函数本身，有两种常用实现方式：

方式1：使用带参数后缀的评分字符串

sklearn支持通过字符串后缀直接指定评分指标的average参数，比如'f1_weighted'、'precision_macro'等，直接传给permutation_importance的scoring参数即可：

from sklearn.inspection import permutation_importance
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris

# 加载多分类数据集并训练模型
X, y = load_iris(return_X_y=True)
model = RandomForestClassifier(random_state=42).fit(X, y)

# 使用加权F1作为评分指标，字符串后缀自动传递average参数
perm_importance = permutation_importance(
    model, 
    X, 
    y, 
    scoring='f1_weighted',
    n_repeats=10, 
    random_state=42
)

# 输出特征重要性排序结果
feature_names = ['花萼长度', '花萼宽度', '花瓣长度', '花瓣宽度']
for i in perm_importance.importances_mean.argsort()[::-1]:
    print(f"{feature_names[i]}: {perm_importance.importances_mean[i]:.4f}")

方式2：用make_scorer自定义评分器

如果需要更灵活的参数设置，可以用sklearn.metrics.make_scorer包装具体的评分函数，将average参数传递进去，再把自定义评分器传给permutation_importance：

from sklearn.metrics import f1_score, make_scorer

# 自定义评分器，指定average='weighted'
weighted_f1_scorer = make_scorer(f1_score, average='weighted')

# 传入自定义评分器计算置换重要性
perm_importance = permutation_importance(
    model, 
    X, 
    y, 
    scoring=weighted_f1_scorer,
    n_repeats=10, 
    random_state=42
)

额外提示 #

如果你的模型默认score方法是适合多分类的指标（比如RandomForestClassifier默认用准确率accuracy，准确率不需要average参数），那么无需额外指定scoring参数，直接调用permutation_importance即可：

# 直接使用模型默认的准确率指标计算
perm_importance = permutation_importance(model, X, y, n_repeats=10, random_state=42)

内容的提问来源于stack exchange，提问作者roudan