sklearn中RandomForest特征重要性计算方法及手动计算偏差问题
sklearn 随机森林特征重要性计算逻辑
- 单棵决策树计算规则:针对树中每个特征参与的分裂节点,计算该次分裂带来的不纯度(分类任务默认用基尼系数,也可指定为熵;回归任务用均方误差)减少量,减少量加权计算规则为:
节点不纯度 * 节点样本占树总训练样本比例 - 左子节点不纯度 * 左子节点样本占比 - 右子节点不纯度 * 右子节点样本占比
每次分裂的减少量全部累加给对应特征的单树重要性得分。 - 随机森林聚合规则:将所有基决策树的特征重要性得分取平均值,再做全局归一化,使所有特征的重要性总和为1。你当前设置
n_estimators=1,所以最终结果就是单棵树的重要性归一化后的值,不需要多树平均。
手动计算与官方结果的误差来源
你的计算逻辑是对的,误差全部来自你使用了可视化输出的近似值:
tree.plot_tree输出的节点不纯度是做了三位小数的四舍五入处理的,你代入计算的0.262、0.452、0.103、0.459等都是近似值,和sklearn内部计算用的精确不纯度值存在偏差,最终导致结果不符。- 你可以直接调用
rf.estimators_[0].tree_.impurity获取每个节点的精确不纯度值,调用rf.estimators_[0].tree_.weighted_n_node_samples获取每个节点的加权样本数,代入公式计算即可得到和rf.feature_importances_完全一致的结果。
内容的提问来源于stack exchange,提问作者Linear Algebra fans
相关产品推荐
相关产品推荐

