使用class_weight='balanced'时，如何让DecisionTreeClassifier节点值为整数？

当你给DecisionTreeClassifier设置class_weight='balanced'时，节点的value显示浮点数是因为模型使用了类别加权：它会根据样本不平衡程度给每个类别计算权重（公式为n_samples/(n_classes * np.bincount(y))），节点的value存储的是加权后的样本权重总和，而非原始的整数样本计数。

1. 转换为真实的整数样本数 #

scikit-learn的决策树在使用class_weight时不会保存原始样本的节点计数，所以没法直接从训练好的模型中反推，但可以通过以下方式手动统计：

• 用model.apply(X)获取每个样本在决策树中对应的节点ID
• 对每个节点ID，筛选出落在该节点的原始样本，统计各类别的真实数量

示例代码：

import numpy as np
from sklearn.tree import DecisionTreeClassifier

# 假设X是特征矩阵，y是标签数组
model = DecisionTreeClassifier(class_weight='balanced')
model.fit(X, y)

# 获取每个样本对应的节点ID
node_ids = model.apply(X)

# 统计每个节点的真实类别样本数
node_true_counts = {}
for node_id in np.unique(node_ids):
    # 筛选当前节点的样本
    sample_mask = node_ids == node_id
    # 统计各类别数量
    class_counts = np.bincount(y[sample_mask])
    node_true_counts[node_id] = class_counts.tolist()

# 之后可以用这个字典替换决策树节点的value，或者用于自定义绘图

2. 让value总和等于节点样本数 #

如果不需要真实样本数，只是想让节点value的总和等于该节点的原始样本数，可以对加权后的value做归一化缩放：

• 获取每个节点的原始样本数（model.tree_.n_node_samples）
• 用节点样本数除以当前value的总和，作为缩放系数，乘以每个类别的value值

示例代码：

tree = model.tree_

for node_idx in range(tree.node_count):
    current_value = tree.value[node_idx][0]
    total_weight = current_value.sum()
    total_samples = tree.n_node_samples[node_idx]
    
    if total_weight != 0:
        # 计算缩放系数，让总和等于样本数
        scale_factor = total_samples / total_weight
        scaled_value = current_value * scale_factor
        # 更新节点的value
        tree.value[node_idx] = scaled_value.reshape(1, -1)

关于RandomForest的bootstrap参数 #

RandomForest的bootstrap是用来做有放回采样生成子数据集的，和单棵决策树的class_weight逻辑完全无关——单棵决策树默认使用全部训练数据（除非设置max_samples参数限制采样比例，但这不是bootstrap），所以没法用类似参数解决这个问题。

内容的提问来源于stack exchange，提问作者cogno.luis