随机森林对独热编码目标变量多数样本无类别预测问题咨询

为什么随机森林会输出大量全0数组？ #

你的代码用LabelBinarizer将目标变量转为独热编码后直接传入RandomForestClassifier，但sklearn的随机森林默认会把这种多列二进制目标当成多标签分类任务（允许一个样本属于多个类别），而非你实际需要的单标签多分类任务（每个样本仅属于一个类别）。

在多标签模式下，模型会对每个类别独立判断是否归属，当模型对某个样本的所有类别都没有足够置信度时，就会输出全0数组。此外，如果数据集存在严重类别不平衡，少数类样本太少，模型无法学习到有效区分特征，也会导致多数样本无法被正确分类，进而出现全0结果。

序数编码不适用时的解决办法 #

如果类别之间没有明确顺序关系，序数编码可能引入错误的顺序假设，此时可采用以下方案：

1. 回归单标签多分类标准流程（推荐） #

树模型对整数型目标变量的兼容性远好于独热编码，无需用独热编码处理目标，直接用LabelEncoder将类别转为整数标签即可，这是sklearn处理单标签多分类的标准方式：

from sklearn.preprocessing import LabelEncoder
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score

# 转换目标为整数标签
le = LabelEncoder()
y = le.fit_transform(Class)
# 查看类别与标签的映射关系
print("类别映射表:", dict(zip(le.classes_, range(len(le.classes_)))))

# 划分数据集
X_train, X_test, y_train, y_test = train_test_split(data, y, test_size=0.2, random_state=42)

# 初始化模型，加入类别权重解决不平衡问题
classifier = RandomForestClassifier(
    class_weight='balanced',
    n_estimators=200,
    random_state=42
)

# 训练与预测
classifier.fit(X_train, y_train)
y_pred = classifier.predict(X_test)

# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print(f"模型准确率: {accuracy:.4f}")

2. 若坚持使用独热编码目标 #

如果必须用独热编码格式的目标，需要将预测结果从多标签模式转换为单标签模式，通过取概率最大的类别避免全0输出：

from sklearn.preprocessing import OneHotEncoder
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score
import numpy as np

# 独热编码目标变量
ohe = OneHotEncoder(sparse_output=False)
y = ohe.fit_transform(Class.reshape(-1, 1))

# 划分数据集
X_train, X_test, y_train, y_test = train_test_split(data, y, test_size=0.2, random_state=42)

# 训练模型
classifier = RandomForestClassifier(
    class_weight='balanced',
    n_estimators=200,
    random_state=42
)
classifier.fit(X_train, y_train)

# 预测概率并转换为单标签结果
y_pred_proba = classifier.predict_proba(X_test)
# 取每个样本概率最大的类别索引
y_pred_idx = np.argmax(y_pred_proba, axis=1)
# 转回独热编码格式用于计算准确率
y_pred_ohe = ohe.transform(y_pred_idx.reshape(-1, 1))

accuracy = accuracy_score(y_test, y_pred_ohe)
print(f"模型准确率: {accuracy:.4f}")

3. 数据与参数优化 #

• 类别不平衡处理：通过class_weight='balanced'让模型自动给少数类分配更高权重，或使用过采样（如SMOTE）、欠采样平衡数据集。
• 模型调参：增加n_estimators数量，减小max_depth限制，调整min_samples_split、min_samples_leaf等参数，提升模型学习能力。
• 特征工程：筛选或构造更具区分度的特征，帮助模型更好地区分不同类别。

内容的提问来源于stack exchange，提问作者Apollonia Vitelli