You need to enable JavaScript to run this app. sklearn中RandomForest特征重要性计算方法及手动计算偏差问题
优惠活动
大模型
产品
解决方案
定价
更多

sklearn中RandomForest特征重要性计算方法及手动计算偏差问题

sklearn 随机森林特征重要性计算逻辑
  • 单棵决策树计算规则:针对树中每个特征参与的分裂节点,计算该次分裂带来的不纯度(分类任务默认用基尼系数,也可指定为熵;回归任务用均方误差)减少量,减少量加权计算规则为:
    节点不纯度 * 节点样本占树总训练样本比例 - 左子节点不纯度 * 左子节点样本占比 - 右子节点不纯度 * 右子节点样本占比
    每次分裂的减少量全部累加给对应特征的单树重要性得分。
  • 随机森林聚合规则:将所有基决策树的特征重要性得分取平均值,再做全局归一化,使所有特征的重要性总和为1。你当前设置n_estimators=1,所以最终结果就是单棵树的重要性归一化后的值,不需要多树平均。
手动计算与官方结果的误差来源

你的计算逻辑是对的,误差全部来自你使用了可视化输出的近似值:

  • tree.plot_tree输出的节点不纯度是做了三位小数的四舍五入处理的,你代入计算的0.262、0.452、0.103、0.459等都是近似值,和sklearn内部计算用的精确不纯度值存在偏差,最终导致结果不符。
  • 你可以直接调用rf.estimators_[0].tree_.impurity获取每个节点的精确不纯度值,调用rf.estimators_[0].tree_.weighted_n_node_samples获取每个节点的加权样本数,代入公式计算即可得到和rf.feature_importances_完全一致的结果。

内容的提问来源于stack exchange,提问作者Linear Algebra fans

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.18 00:15:04