LightGBM部分特征重要性为0的原因及Flaml模型相关疑问

是否只有x3被模型实际采用？ #

没错，从特征重要性结果能直接得出结论——模型训练时只用到了x3。LightGBM默认的特征重要性是基于特征被用于决策树分裂的次数统计的，x2和x5的数值为0，说明它们从未被选作分裂节点的依据，完全没参与模型的决策逻辑。FLAML的AutoML流程里，可能通过内置的特征筛选逻辑，或者LightGBM自身的正则化机制（比如feature_fraction、L1正则）自动过滤掉了这两个无效特征，最终只保留x3用于构建模型。

为什么x2、x5重要性为0还会出现在结果表里？ #

这是工具的默认行为导致的：

• LightGBM输出特征重要性时，会严格对应你输入的全部特征列表，哪怕某个特征完全没被使用，也会给它赋值0并保留在结果中，目的是让你能直接和原始输入的特征集合一一对应，无需手动匹配缺失的特征。
• FLAML调用LightGBM时，并没有提前移除未被选中的特征，而是将你指定的三个特征全部传递给模型，因此模型会返回所有三个特征的重要性结果，包括那两个未被用到的。

如果要彻底验证，你可以查看FLAML训练后导出的模型结构，或者LightGBM的训练日志，里面肯定找不到x2和x5的分裂记录。

内容的提问来源于stack exchange，提问作者Giampaolo Levorato