解读XGBoost特征重要性图中的F score数值含义

1. Gain指标数值含义 #

你参考的Gain定义准确：

Gain是指单个特征为其所在树分支带来的准确率提升。其逻辑为：在给某分支添加特征X的分割规则前，该分支存在部分分类错误的样本；基于该特征完成分割后得到两个新分支，两个分支的分类准确率均有所提升（一个分支判定落在该分支的样本应分类为1，另一个分支则相反）。

你在示例中看到的1210.94这类具体数值，代表该特征在整个XGBoost模型的所有树、所有分裂节点中，贡献的增益总和。部分可视化工具会输出平均增益（总增益除以该特征被用作分裂的总次数），你可以通过数值量级判断：如果所有特征的Gain值相加约等于模型训练整体的损失下降总量，即为总增益，否则为平均增益。

示例特征重要性图参考：

2. F score（Weight）指标含义 #

F score是XGBoost最基础的特征重要性指标，计算逻辑如下：

• 统计该特征在所有树的所有分裂节点中，被选作分裂依据的总次数
• 该指标仅统计使用频次，不区分每次分裂带来的效果，因此会天然偏向取值维度多、可分裂点多的特征，参考价值弱于Gain指标

3. 补充：Cover指标含义 #

除了上述两个指标外，XGBoost还会输出Cover指标，指该特征参与的所有分裂节点覆盖的样本总量/平均样本量，反映该特征影响的样本范围大小。

内容的提问来源于stack exchange，提问作者ppotatomato