XGBoost多分类任务中如何描述重要特征与标签的关联关系

一、模型内置可解释性方法 #

• 特征重要性可视化：直接用xgb.importance的输出绘制条形图，按Gain指标排序展示前10个特征的贡献占比，可直观呈现每个特征对整体多分类任务的贡献权重，Gain作为特征对模型性能提升的核心指标，最适合用来体现特征与标签的关联强度。
• 部分依赖图（PDP）：针对单个重要特征（如排名第一的q97），绘制不同特征取值下，模型预测为各个族裔类别的概率变化曲线，可清晰看到特征取值和特定族裔预测概率的对应关系，比如q97取3时是否会推高某一类族裔的预测概率。
• SHAP值分析：计算前10个特征的SHAP值并绘制蜂群图，每个点对应一个样本，x轴为SHAP值（反映对预测结果的影响程度，正值为推高某类概率，负值为降低），y轴为特征，颜色对应特征取值，可同时展示特征取值高低、对不同样本预测结果的影响方向和强度；多分类场景下可以单独为每个族裔类别绘图，进一步定位特征对识别某一类族裔的专属贡献。

二、统计描述方法 #

• 分组统计摘要：按Ethnicity的8个类别分组，计算每个重要特征在各组的均值、中位数、四分位距等统计量，比如连续特征q7在族裔0的均值为51左右，在族裔2的均值为68左右，这类组间差异可以直接通过对比表格呈现。
• 列联表分析：针对离散型重要特征（如q8、q9这类有序分类特征），制作特征取值和Ethnicity的交叉列联表，计算卡方检验p值验证特征与标签的独立性是否显著，同时可统计每个特征取值下各族裔的占比，比如q8=1的样本中族裔3占比60%，q8=2的样本中族裔5占比55%，直接呈现取值和类别的对应关联。

三、可视化探索方法 #

• 分组箱线图/小提琴图：x轴设置为Ethnicity的8个类别，y轴为特征取值，每个类别对应一个箱线/小提琴图形，可直观看到特征在各族裔组的分布差异，比如q97在族裔0中大多取1，在族裔3中大多取3，这类分布差异可以直接通过图形识别。
• 关联热力图：将前10个重要特征和8个族裔类别计算互信息后绘制热力图，每个格子的颜色深度对应特征和该类别的互信息大小，可快速定位哪个特征和哪个族裔的关联最强。
• 堆叠柱状图：针对离散特征，x轴为特征取值，y轴为样本占比，每个柱子按族裔类别堆叠，可直观呈现不同特征取值下的族裔构成差异。

四、量化关联度量 #

• 互信息计算：计算每个重要特征和Ethnicity的互信息值，互信息越高说明特征和标签的共享信息越多、关联越强，该指标适配连续、离散特征和多分类标签的场景，无需假设线性关系。
• 差异显著性检验：连续特征若满足正态分布、方差齐性的前提可用多分类ANOVA检验，否则用克鲁斯卡尔-沃利斯秩和检验，验证特征在8个族裔组的分布是否存在显著差异，p值越小说明组间差异越大，特征和标签的关联越显著。

内容的提问来源于stack exchange，提问作者user16596066