基于AIC确定XGBoost回归模型最小特征数的疑问

1. 该特征筛选方法是否正确？ #

这种逐步移除单个特征并比较AIC的向后淘汰法，是特征选择的基础思路之一，但直接套用到XGBoost上存在明显局限性：

• XGBoost作为集成树模型，本身会通过特征重要性自动筛选有效特征，很多低贡献特征在树的分裂过程中已经被忽略，手动单步移除容易陷入局部最优，无法找到全局最优的特征组合。
• 用训练集的AIC作为判断标准，本身容易诱导过拟合——训练集上AIC低不代表泛化能力强，应该用验证集的预测误差结合参数数量来计算AIC（或直接用验证集损失）。
• 单步移除的方式效率极低，且可能误删与其他特征存在交互作用的重要特征。

2. 所用的AIC计算代码是否正确？ #

代码中的AIC计算存在两处关键错误：

参数数量计算错误 #

num_params = len(xg_reg.get_booster().get_dump()) + 1  # Adding 1 for the intercept

• len(xg_reg.get_booster().get_dump())得到的是模型中树的数量，不是模型的参数总数。每棵树包含大量参数：每个分裂节点的特征索引、分裂阈值，以及每个叶节点的预测权重，这些才是模型的参数，不能用树的数量代替。
• XGBoost回归模型没有传统线性模型中的截距项，它的预测值是所有树的叶节点输出之和，不需要额外添加截距，这里加1完全没有依据。

AIC公式的适用性问题 #

AIC的原始公式是针对线性模型+正态分布误差推导的，直接套用到树模型上并不严谨。树模型的误差分布通常不满足正态假设，AIC的统计意义会大打折扣，用它衡量树模型的优劣本身存在偏差。

3. 若前两者均正确，为何移除特征后AIC会上升？ #

假设方法和计算都正确的前提下，移除特征后AIC上升的核心原因是：特征移除导致模型拟合能力下降的幅度，超过了参数数量减少带来的惩罚项降低幅度。
AIC公式为 AIC = n*log(MSE) + 2*k（n为样本量，k为参数数），当移除一个有效特征后：

• MSE会显著上升（模型丢失了有价值的预测信息），导致公式第一项的增幅很大；
• 参数数量k减少带来的第二项降幅不足以抵消第一项的增幅；
  最终整体AIC值上升，说明被移除的特征对模型的预测能力有重要贡献，不应该被删除。

内容的提问来源于stack exchange，提问作者user3476463