如何在LightGBM每轮拟合后运行自定义模拟并用作评估指标？

问题背景 #

针对3类多分类任务，需要替换传统的acc/logloss评估逻辑：每轮拟合完成后，对全量数据集运行考虑时间维度与事件发生顺序的模拟（simulation），以此作为模型性能的评估依据，而非仅依赖真实值计算的损失/误差。

当前实现方式 #

目前仅在完整拟合流程结束后执行模拟，代码与流程如下：

代码示例 #

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
all_ds = lgb.Dataset(X, label=y)
train_ds = lgb.Dataset(X_train, label=y_train)
test_ds = lgb.Dataset(X_test, label=y_test)

params = {
    'device_type': "gpu",
    'objective': 'multiclass',
    'metric': 'multi_logloss',
    "boosting_type": "gbdt",
    "num_class": 3,
    'random_state': 123
}

# 拟合模型
model = lgb.train(
    params,
    train_ds,
    num_boost_round=20,
    valid_sets=[test_ds]
)

# 全量数据预测+模拟
y_pred = model.predict(all_ds)
simulation_result = simulate(X, y_pred)  # 返回float类型的模拟结果

当前流程 #

1. 拟合步骤1 - 计算误差x
2. 拟合步骤2 - 计算误差y
   ...
3. 拟合步骤20 - 计算误差z
4. 运行模拟，查看模型性能

期望流程 #

1. 拟合步骤1 - 运行模拟 - 将模拟结果作为性能依据
2. 拟合步骤2 - 运行模拟 - 将模拟结果作为性能依据
   ...
3. 拟合步骤20 - 运行模拟 - 将模拟结果作为性能依据

可行解决方案 #

方法1：自定义Callback（推荐） #

LightGBM的Callback机制可在每轮训练结束后触发，直接获取当前训练的模型，对全量数据做预测并运行模拟，同时记录每轮结果。

代码示例

import lightgbm as lgb
from sklearn.model_selection import train_test_split

# 假设你的simulate函数已实现
def simulate(X, y_pred):
    # 模拟逻辑：考虑时间维度与事件顺序，返回float型结果
    ...

# 自定义Callback类
class SimulationEvalCallback:
    def __init__(self, X_full, y_full):
        self.X_full = X_full
        self.y_full = y_full
        self.simulation_results = []

    def __call__(self, env):
        # 获取当前训练到的模型
        current_model = env.model
        # 对全量数据做预测
        y_pred = current_model.predict(self.X_full)
        # 运行模拟
        sim_result = simulate(self.X_full, y_pred)
        self.simulation_results.append(sim_result)
        # 在训练日志中打印结果
        print(f"[Round {env.iteration+1}] Simulation result: {sim_result:.4f}")

# 数据准备
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
train_ds = lgb.Dataset(X_train, label=y_train)

params = {
    'device_type': "gpu",
    'objective': 'multiclass',
    'metric': None,  # 关闭默认指标计算
    "boosting_type": "gbdt",
    "num_class": 3,
    'random_state': 123
}

# 初始化Callback
sim_callback = SimulationEvalCallback(X, y)

# 训练模型
model = lgb.train(
    params,
    train_ds,
    num_boost_round=20,
    callbacks=[sim_callback]
)

# 所有轮次的模拟结果存储在sim_callback.simulation_results中
print("All simulation results:", sim_callback.simulation_results)

方法2：自定义评估指标（适配feval） #

通过闭包传入全量数据，处理LightGBM的preds格式后运行模拟。注意：需将全量数据集作为valid_sets传入训练函数。

代码示例

def customEvalMetric(X_full):
    def _metric(preds, eval_data):
        # 将preds从一维数组(n_samples*n_classes,)转换为二维数组(n_samples, n_classes)
        n_classes = 3
        y_pred = preds.reshape(-1, n_classes)
        # 运行模拟
        sim_result = simulate(X_full, y_pred)
        # 返回格式：(指标名称, 指标值, 是否越小越好)
        # 第三个参数：若模拟结果越小性能越好则设为True，反之设为False
        return 'simulation_result', sim_result, False
    return _metric

# 训练时使用
model = lgb.train(
    params,
    train_ds,
    num_boost_round=20,
    valid_sets=[lgb.Dataset(X, label=y)],  # 传入全量数据作为验证集
    feval=customEvalMetric(X),
    metric=None  # 关闭默认指标
)

方法3：循环训练+init_model（备选） #

逐轮训练，每轮结束后加载已有模型继续训练，同时执行模拟。逻辑直观但代码稍繁琐。

代码示例

params = {
    'device_type': "gpu",
    'objective': 'multiclass',
    'metric': None,
    "boosting_type": "gbdt",
    "num_class": 3,
    'random_state': 123
}

model = None
simulation_results = []

for round_idx in range(20):
    model = lgb.train(
        params,
        train_ds,
        num_boost_round=1,
        init_model=model
    )
    # 全量数据预测+模拟
    y_pred = model.predict(X)
    sim_result = simulate(X, y_pred)
    simulation_results.append(sim_result)
    print(f"Round {round_idx+1} Simulation result: {sim_result:.4f}")

XGBoost适配说明 #

逻辑与LightGBM一致：

• Callback：通过callbacks参数传入自定义回调，可获取当前模型并执行模拟。
• 自定义评估指标：feval参数接收的preds在多分类下直接为(n_samples, n_classes)格式，无需reshape，同样可通过闭包传入全量数据。
• 循环训练：使用xgb.train的num_boost_round=1和xgb_model参数加载已有模型。

内容的提问来源于stack exchange，提问作者Alex