如何从lightGBM的lgb.cv模型中获取交叉验证预测结果？

嘿，这个问题我刚好之前在项目里碰到过！用lgb.cv确实没法直接导出每折的预留预测结果，但有两个简便的方案能帮你实现需求，完美适配模型堆叠的场景：

这个方法逻辑清晰、容易调试，还能直接保存每折的模型，后续做堆叠也更方便。核心思路是用sklearn的拆分工具自己划分折，然后循环用lgb.train训练每折，同时记录预留折的预测结果。

示例代码如下：

import lightgbm as lgb
from sklearn.model_selection import KFold  # 分类任务可以用StratifiedKFold
import numpy as np
import pandas as pd

# 假设你的特征和标签是X（DataFrame）、y（Series）
kf = KFold(n_splits=5, shuffle=True, random_state=42)
oof_preds = np.zeros(len(y))  # 用来存储每个样本在自己所属预留折的预测结果

for fold, (train_idx, val_idx) in enumerate(kf.split(X)):
    print(f"正在训练第 {fold+1} 折...")
    # 拆分训练集和预留验证集
    X_train, X_val = X.iloc[train_idx], X.iloc[val_idx]
    y_train, y_val = y.iloc[train_idx], y.iloc[val_idx]
    
    # 构建LightGBM数据集
    train_data = lgb.Dataset(X_train, label=y_train)
    val_data = lgb.Dataset(X_val, label=y_val, reference=train_data)
    
    # 模型参数（根据你的任务类型调整，比如分类/回归）
    params = {
        'objective': 'binary',  # 二分类任务，回归用'regression'
        'metric': 'auc',
        'verbosity': -1,
        'seed': 42
    }
    
    # 训练模型，加入早停避免过拟合
    model = lgb.train(
        params,
        train_data,
        valid_sets=[val_data],
        num_boost_round=1000,
        early_stopping_rounds=50,
        verbose_eval=False
    )
    
    # 把当前折预留集的预测结果存入oof_preds
    oof_preds[val_idx] = model.predict(X_val, num_iteration=model.best_iteration)
    
    # 可选：保存当前折的模型，后续堆叠时可以直接调用
    model.save_model(f"lightgbm_fold_{fold+1}.txt")

# 最终oof_preds就是所有预留折的预测结果，直接用来做模型堆叠的特征即可

如果你更倾向于用lgb.cv的原生逻辑，可以通过自定义回调函数来“偷偷”捕获每折的预测结果。这个方法不需要手动写循环，但需要理解LightGBM的回调机制：

import lightgbm as lgb
from sklearn.model_selection import KFold
import numpy as np

# 自定义回调类，用于保存每折的预留预测
class OofCaptureCallback:
    def __init__(self, val_indices):
        self.val_indices = val_indices  # 存储每折预留集的索引
        self.oof_preds = np.zeros(sum(len(idx) for idx in val_indices))  # 初始化存储数组
    
    def __call__(self, env):
        # 遍历每个折，获取预测结果
        for fold_idx, indices in enumerate(self.val_indices):
            # 获取当前折的最佳迭代次数
            best_iter = env.model.best_iteration
            # 对当前折的预留集做预测
            fold_preds = env.model.predict(env.valid_sets[fold_idx].data, num_iteration=best_iter)
            # 将预测结果存入对应位置
            self.oof_preds[indices] = fold_preds

# 准备数据
X, y = ...  # 你的特征和标签
kf = KFold(n_splits=5, shuffle=True, random_state=42)
# 提前获取所有折的预留集索引
val_indices = [val_idx for _, val_idx in kf.split(X)]

train_data = lgb.Dataset(X, label=y)

# 模型参数
params = {
    'objective': 'binary',
    'metric': 'auc',
    'verbosity': -1,
    'seed': 42
}

# 初始化回调
oof_callback = OofCaptureCallback(val_indices)

# 运行lgb.cv，传入自定义回调
cv_results = lgb.cv(
    params,
    train_data,
    num_boost_round=1000,
    folds=kf,
    early_stopping_rounds=50,
    callbacks=[oof_callback],
    verbose_eval=False
)

# 最终的预留折预测结果就在oof_callback.oof_preds里

小提示 #

• 优先选方案1，不仅容易调试，后续要基于每折模型做堆叠预测也更直接；
• 如果是分类任务，记得用StratifiedKFold来保持每折的类别分布一致；
• 保存的oof_preds可以直接作为下一层模型的输入特征，完美适配模型堆叠的流程。

内容的提问来源于stack exchange，提问作者abu