如何在GPU上训练sklearn的VotingClassifier？百万级数据集

针对你用100万行数据训练VotingClassifier但cuML不支持该组件的问题，这里有几个可行的GPU加速方案：

1. 手动实现投票逻辑（最推荐，全GPU加速） #

既然cuML支持单个模型的GPU训练，完全可以跳过sklearn的VotingClassifier，自己完成投票步骤，全程在GPU上执行，避免数据来回传输的开销。

硬投票示例代码： #

import cuml
from cuml.ensemble import RandomForestClassifier as cuRFC
from cuml.linear_model import LogisticRegression as cuLR
from cuml.svm import LinearSVC as cuSVC
import cupy as cp

# 假设数据已加载为cuDF DataFrame或cupy数组（GPU存储）
X_train, y_train = ...  # 你的训练数据
X_test = ...            # 你的测试数据

# 分别训练单个GPU模型
log_clf = cuLR(max_iter=10000).fit(X_train, y_train)
rnd_clf = cuRFC(n_estimators=50).fit(X_train, y_train)
svm_clf = cuSVC().fit(X_train, y_train)

# 获取各模型的GPU端预测结果
pred_lr = log_clf.predict(X_test)
pred_rf = rnd_clf.predict(X_test)
pred_svc = svm_clf.predict(X_test)

# 堆叠所有预测结果，计算每行的众数作为最终预测
all_preds = cp.vstack([pred_lr, pred_rf, pred_svc]).T
from cuml.stats import mode
final_preds = mode(all_preds, axis=1)[0].flatten()

如果需要软投票，只需改用predict_proba获取概率，取平均后选择概率最高的类别：

# 获取各模型的预测概率（GPU端）
proba_lr = log_clf.predict_proba(X_test)
proba_rf = rnd_clf.predict_proba(X_test)
proba_svc = svm_clf.predict_proba(X_test)

# 计算平均概率
avg_proba = (proba_lr + proba_rf + proba_svc) / 3
# 选择概率最高的类别
final_preds = cp.argmax(avg_proba, axis=1)

2. 兼容sklearn VotingClassifier（牺牲部分性能） #

如果坚持想用sklearn的VotingClassifier，需要确保cuML模型与sklearn接口兼容，同时注意数据格式转换：

• 部分cuML模型需要开启特定参数（比如LinearSVC要加probability=True才能支持软投票）
• 若cuML模型直接接收pandas数据，训练时会自动转GPU，但数据会在CPU-GPU间传输，100万行数据会有一定开销

示例代码：

from sklearn.ensemble import VotingClassifier
from cuml.ensemble import RandomForestClassifier as cuRFC
from cuml.linear_model import LogisticRegression as cuLR
from cuml.svm import LinearSVC as cuSVC
import pandas as pd

# 加载数据为pandas DataFrame（CPU存储）
X_train = pd.read_csv("your_train_data.csv")
y_train = pd.read_csv("your_train_label.csv").values.ravel()

# 初始化兼容的cuML模型
log_clf = cuLR(max_iter=10000)
rnd_clf = cuRFC(n_estimators=50)
svm_clf = cuSVC(probability=True)  # 开启概率预测以支持软投票（若需要）

# 尝试使用VotingClassifier
voting_clf = VotingClassifier(
    estimators=[('lr', log_clf), ('rf', rnd_clf), ('svc', svm_clf)],
    voting='hard'
)
voting_clf.fit(X_train, y_train)

3. 混合其他GPU加速模型库 #

除了cuML，还可以结合其他支持GPU训练的模型库（如XGBoost、LightGBM），同样手动实现投票逻辑：

import cuml
import xgboost as xgb
from cuml.stats import mode
import cupy as cp

# 训练cuML和XGBoost的GPU模型
log_clf = cuml.linear_model.LogisticRegression(max_iter=10000).fit(X_train, y_train)
xgb_clf = xgb.XGBClassifier(tree_method='gpu_hist').fit(X_train, y_train)

# 获取预测结果并投票
pred_lr = log_clf.predict(X_test)
pred_xgb = cp.array(xgb_clf.predict(X_test))  # 转cupy数组到GPU
all_preds = cp.vstack([pred_lr, pred_xgb]).T
final_preds = mode(all_preds, axis=1)[0].flatten()

内容的提问来源于stack exchange，提问作者Min Si Thu