双特征与目标完全相关时，Scikit-learn决策树如何选择根节点？

这是个很常见的疑问！当两个特征和目标变量完全相关时，决策树的选择逻辑其实有明确的规则，我结合你的数据集来解释清楚：

核心：分裂节点的选择依据 #

决策树分裂节点的核心是最大化不纯度的减少量（比如信息增益、基尼增益）——简单说就是看哪个特征分裂后，子节点的“纯度”（同类样本占比）最高。

在你的数据里，特征A和B的取值完全一致，对目标X的预测能力100%相同：

A B X
1 1 0
2 2 1
2 2 1
2 2 1
1 1 0

用A或者B分裂，得到的子节点都是完全纯净的（比如A=1时X全是0，A=2时X全是1；B也是一样），所以两者的分裂增益完全相等。这时候就触发了sklearn的“平局处理规则”。

完全相关特征时的平局规则 #

当多个特征的分裂增益相同时，Scikit-learn的DecisionTreeClassifier（默认splitter='best'）会选择输入特征列表中位置更靠前的那个特征。

你的数据里特征顺序是[A, B]，所以每次都会优先选A作为根节点。如果把特征顺序换成[B, A]，决策树就会转而选择B作为根节点。

代码验证一下 #

from sklearn.tree import DecisionTreeClassifier
import pandas as pd

# 原特征顺序：A在前
data = pd.DataFrame({
    'A': [1,2,2,2,1],
    'B': [1,2,2,2,1],
    'X': [0,1,1,1,0]
})
X = data[['A', 'B']]
y = data['X']
clf = DecisionTreeClassifier(random_state=42)
clf.fit(X, y)
print("原顺序的特征重要性:", clf.feature_importances_)  # 输出 [1.0, 0.0]，A被选中

# 交换特征顺序：B在前
X_swapped = data[['B', 'A']]
clf_swapped = DecisionTreeClassifier(random_state=42)
clf_swapped.fit(X_swapped, y)
print("交换顺序后的特征重要性:", clf_swapped.feature_importances_)  # 输出 [1.0, 0.0]，B被选中

额外补充：有没有其他影响因素？ #

• 如果设置splitter='random'，决策树会在增益相同的特征中随机选一个，这时候结果就不确定了
• random_state参数不影响平局时的顺序选择，它主要控制随机分裂时的随机性

简单总结：当特征和目标完全相关且分裂增益相同时，特征输入顺序是决定根节点选择的关键！

内容的提问来源于stack exchange，提问作者user9238790