如何在Scikit-learn中结合RandomForest与GradientBoosting实现最优分类？

当然可行！这种针对不同类别各有擅长的分类器，我们完全可以通过更精准的集成策略来结合它们的优势，而不只是依赖简单的Soft Voting。先聊聊为什么你用带权重的Soft Voting没达到预期，再给你几个更适配你场景的方案：

• 权重设置不合理：你可能只是凭经验给权重，但最优权重需要通过交叉验证来调优，比如用GridSearchCV来搜索最佳的权重组合，而不是手动拍脑袋
• 概率输出未校准：Soft Voting依赖分类器的概率估计，比如RandomForest的概率其实是基于树的投票比例，可能存在校准偏差；如果其中某个分类器的概率不准，直接加权概率会拉低效果。可以先用CalibratedClassifierCV对两个分类器做概率校准，再放进Voting里

1. 自定义类别感知的投票规则 #

既然两个分类器分别精准对应不同类别，我们可以跳过通用的投票逻辑，直接针对类别制定规则：

from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier
import numpy as np

# 先训练好两个分类器
rf_clf = RandomForestClassifier(random_state=42)
gb_clf = GradientBoostingClassifier(random_state=42)
rf_clf.fit(X_train, y_train)
gb_clf.fit(X_train, y_train)

# 自定义预测函数：优先信任RF的类别1预测，GB的类别0预测
def custom_vote_predict(X):
    rf_preds = rf_clf.predict(X)
    gb_preds = gb_clf.predict(X)
    # 当RF预测为1时，直接取1；否则看GB是否预测0，是则取0，其余情况可按置信度判断
    final_preds = np.where(rf_preds == 1, 1, 
                          np.where(gb_preds == 0, 0, rf_preds))
    return final_preds

# 测试集预测
y_test_pred = custom_vote_predict(X_test)

如果想更精细，还可以结合分类器的预测置信度（比如predict_proba输出的概率值）：比如当RF预测1的概率>0.6时用RF的结果，GB预测0的概率>0.7时用GB的结果，其余情况再做多数投票。

2. 堆叠集成（Stacking） #

用一个元分类器来自动学习什么时候该用RF，什么时候该用GB。简单来说，就是把两个基分类器的预测结果作为新特征，再训练一个小模型（比如逻辑回归）来做最终判断：

from sklearn.ensemble import StackingClassifier
from sklearn.linear_model import LogisticRegression

# 定义基分类器列表
base_estimators = [
    ('random_forest', RandomForestClassifier(random_state=42)),
    ('gradient_boosting', GradientBoostingClassifier(random_state=42))
]

# 构建堆叠分类器，元分类器用逻辑回归，还可以传入原始特征增强效果
stack_clf = StackingClassifier(
    estimators=base_estimators,
    final_estimator=LogisticRegression(),
    passthrough=True,  # 把原始特征也传给元分类器
    random_state=42
)

# 训练与预测
stack_clf.fit(X_train, y_train)
y_test_pred = stack_clf.predict(X_test)

Stacking的优势是让模型自动捕捉两个基分类器的互补模式，比手动设置权重更灵活，尤其适合这种类别级别的互补场景。

3. 针对类别单独加权概率 #

既然两个分类器在不同类别上的表现有差异，我们可以对每个类别的概率输出分别加权：

# 获取两个分类器的概率输出
rf_proba = rf_clf.predict_proba(X_test)  # 形状：[样本数, 2]，[:,0]是类别0概率，[:,1]是类别1概率
gb_proba = gb_clf.predict_proba(X_test)

# 自定义权重：给GB的类别0更高权重，给RF的类别1更高权重
# 这里的权重可以通过交叉验证调优，比如用GridSearchCV找最优值
weight_gb_0 = 0.7
weight_rf_0 = 0.3
weight_rf_1 = 0.7
weight_gb_1 = 0.3

# 调整概率
adjusted_proba_0 = gb_proba[:,0] * weight_gb_0 + rf_proba[:,0] * weight_rf_0
adjusted_proba_1 = rf_proba[:,1] * weight_rf_1 + gb_proba[:,1] * weight_gb_1

# 生成最终预测
final_proba = np.column_stack((adjusted_proba_0, adjusted_proba_1))
y_test_pred = np.argmax(final_proba, axis=1)

• 先仔细评估两个分类器的类别级指标：用sklearn.metrics.classification_report查看每个类别的精确率、召回率、F1值，明确它们的优势到底是精确率高还是召回率高，这样能更精准地设计融合策略
• 检查数据集是否存在类别不平衡：如果某类样本占比极低，可能会影响集成效果，不过你提到两个分类器分别擅长不同类别，大概率数据是平衡的，但还是可以确认一下

内容的提问来源于stack exchange，提问作者Abhik Jha