Xgboost多分类任务如何分析各分类对应的特征重要性及响应关系

问题1：绘制每个民族类别对重要特征的响应规律 #

你可以通过两类可视化方案实现需求：

• SHAP类别依赖图方案
  推荐使用R的shapviz包实现，可直观展示特征取值变化对对应民族类别预测结果的边际影响，同时支持多类别响应对比：

  # 加载依赖包
  library(shapviz)
  library(xgboost)
  
  # 计算多分类模型的SHAP值
  sv <- shapviz(
    object = model, 
    X_pred = as.matrix(data[,-1]), 
    X = data[,-1]
  )
  
  # 取出你之前得到的前10个重要特征
  top10_feats <- xgb.importance(model = model)$Feature[1:10]
  
  # 方案1：单特征下所有民族的响应曲线对比
  sv_dependence(
    sv, 
    v = top10_feats, 
    color_var = factor(data$Ethnicity, labels = c("民族0","民族1","...","民族7"))
  )
  
  # 方案2：单独查看某个民族（如民族3）对所有前10特征的响应
  for (feat in top10_feats) {
    print(sv_dependence(sv, v = feat, which_class = 3))
  }
  

  该方案的优势是基于已训练好的多分类模型计算，不需要重新拟合，结果和原模型预测逻辑完全对齐。
• 部分依赖图（PDP）方案
  如果不需要特征交互影响的展示，也可以用pdp包生成类别专属的部分依赖图：

  library(pdp)
  # 绘制民族0对特征xxx的部分依赖曲线
  partial(
    model, 
    pred.var = "xxx", 
    which.class = 0, 
    plot = TRUE, 
    train = as.matrix(data[,-1]),
    ylab = "民族0的预测概率"
  )
  

问题2：获取每个民族的专属特征重要性 #

有两种实现路径，你可以根据需求选择：

• 路径1：单独拟合一对其余（OvR）二分类模型
  对每个民族单独构建二分类任务，拟合后直接得到专属特征重要性，逻辑简单易解释：

  # 初始化列表存储8个民族的专属特征重要性
  class_specific_imp <- vector("list", 8)
  
  for (k in 0:7) {
    # 生成二分类标签：当前民族为1，其余为0
    binary_label <- ifelse(data$Ethnicity == k, 1, 0)
    # 拟合二分类XGBoost模型，参数可以和原多分类模型保持一致
    model_k <- xgboost(
      data = as.matrix(data[,-1]),
      label = binary_label,
      nrounds = 50,
      objective = "binary:logistic",
      lambda = 1,
      eval_metric = "error",
      verbose = 0
    )
    # 存储该民族的特征重要性
    class_specific_imp[[k+1]] <- xgb.importance(model = model_k)
  }
  
  # 示例：提取民族0的前10个专属重要特征
  class0_top10 <- class_specific_imp[[1]]$Feature[1:10]
  

• 路径2：基于原多分类模型SHAP值计算（无需重新训练）
  如果不想额外拟合8个模型，也可以直接通过原模型的SHAP值统计每个类别的专属重要性，结果和原模型的预测逻辑完全一致：

  # 每个类别的特征重要性 = 该类别下所有样本对应特征SHAP值的绝对值均值
  class_shap_imp <- apply(sv$shap, MARGIN = c(3,2), function(x) mean(abs(x)))
  # 转换为数据框，行对应特征，列对应民族类别0-7
  class_shap_imp <- as.data.frame(class_shap_imp)
  colnames(class_shap_imp) <- paste0("民族",0:7)
  

内容的提问来源于stack exchange，提问作者user16596066