如何在XGBoost的scikit-learn接口中复用DMatrix提升训练效率？

方案1：直接给sklearn接口传入预构建的DMatrix #

XGBoost的scikit-learn类（如XGBClassifier/XGBRegressor）支持直接传入DMatrix作为训练数据，无需每次让接口内部重新执行数据转换流程。提前构建好DMatrix并复用，就能省掉重复的数据格式转换、特征编码以及GPU内存拷贝的开销。

修改你的测试代码如下：

from sklearn.datasets import make_classification
from xgboost import XGBClassifier
import xgboost as xgb
import time

# 生成大规模数据集
X, y = make_classification(n_samples=5_000_000, n_features=20,
                           n_informative=10, n_redundant=10, random_state=42)

# 预构建DMatrix，包含数据和标签
dtrain = xgb.DMatrix(data=X, label=y)

# scikit-learn接口复用DMatrix训练
t = time.time()
model = XGBClassifier(tree_method="gpu_hist", gpu_id=0,
                      predictor="gpu_predictor", max_bin=256)
model.fit(dtrain, y=None)  # 传入DMatrix时y设为None，因为DMatrix已包含标签
print("scikit-learn + DMatrix (第一次): ", time.time() - t)

# 第二次训练复用同一DMatrix
t = time.time()
model.fit(dtrain, y=None)
print("scikit-learn + DMatrix (第二次): ", time.time() - t)

运行后你会发现，第二次训练的耗时会和原生接口的第二次训练接近——因为DMatrix已经缓存了GPU上的数据，无需重复执行转换和拷贝操作。

方案2：复用模型内部的DMatrix（进阶） #

如果已经用常规数据训练过一次sklearn接口的模型，可以直接提取它内部的_dtrain属性（虽为私有属性，但实际可安全复用），后续训练时直接使用：

# 第一次用常规数据训练
model = XGBClassifier(tree_method="gpu_hist", gpu_id=0,
                      predictor="gpu_predictor", max_bin=256)
model.fit(X, y)

# 提取内部已构建好的DMatrix
internal_dtrain = model._dtrain

# 后续训练直接复用该DMatrix
t = time.time()
model.fit(internal_dtrain, y=None)
print("scikit-learn + 内部DMatrix: ", time.time() - t)

核心原理 #

原生接口速度快的本质原因是DMatrix的缓存机制：

• 原生接口使用DMatrix时，会一次性完成数据格式转换、特征编码、GPU内存拷贝，并将这些结果缓存；第二次训练直接调用缓存数据，无需重复执行耗时操作。
• 默认的sklearn接口每次调用fit，都会从头将原始数据转换为DMatrix，尤其是GPU场景下，CPU到GPU的数据拷贝是主要耗时来源，重复执行会浪费大量时间。

通过上述方法，既能保留scikit-learn接口的生态兼容性，又能获得原生接口的训练性能。

内容的提问来源于stack exchange，提问作者Chris