如何在LightGBM时间序列预测中基于Parsnip实现LINEX损失函数？

背景 #

• 在需求预测场景中，低估需求对企业的伤害远大于高估，因为低估带来的缺货、客户流失等成本通常远高于高估产生的库存持有成本。
• 梯度提升机（GBM）默认采用的RMSE损失是对称的，无法体现这种业务场景下的不对称损失逻辑，因此需要自定义贴合业务的损失函数。LINEX损失（Linear Exponential Loss）就是专门用于处理这类不对称损失问题的方案。

LINEX损失的核心逻辑 #

LINEX损失的一般形式为：

$L(\theta) = b(e^{a\theta} - a\theta - 1)$
其中：

• $\theta = y - \hat{y}$（真实需求与预测值的误差）
• 参数a控制不对称程度：a>0时，对低估需求（$\theta>0$，即真实需求>预测值）的惩罚会指数级放大；a<0则相反
• 参数b用于缩放损失的整体大小，通常取1即可

要在梯度提升框架中使用该损失，需要计算它的梯度（一阶导数）和海森矩阵（二阶导数）：

• 梯度：$g = -b(a e^{a\theta} - a)$
• 海森矩阵：$h = b a^2 e^{a\theta}$

在Parsnip中的实现代码 #

结合bonsai引擎（用于在tidymodels框架中对接lightgbm/xgboost），可以直接在boost_tree中自定义LINEX目标函数：

library(tidymodels)
library(bonsai)
library(lightgbm)

# 定义LINEX损失的目标函数，a为不对称控制参数，b为损失缩放参数
linex_objective <- function(preds, dtrain, a = 1, b = 1) {
  truth <- as.numeric(getinfo(dtrain, "label"))
  theta <- truth - preds  # 计算误差：真实值 - 预测值
  
  # 计算梯度与海森矩阵
  gradient <- -b * (a * exp(a * theta) - a)
  hessian <- b * (a^2) * exp(a * theta)
  
  return(list(grad = gradient, hess = hessian))
}

# 构建Parsnip回归模型
linex_boost_model <- boost_tree(mode = "regression") %>%
  set_engine("lightgbm", 
             objective = linex_objective,
             # 传递自定义参数，比如设置a=1.5强化对低估的惩罚
             objective_param = list(a = 1.5)
             )

代码说明 #

• linex_objective函数接收模型预测值preds、训练数据集dtrain，以及控制不对称性的核心参数a：
  • 当a>0时，低估需求对应的误差项会触发指数增长，让模型自动向减少低估的方向优化，完全匹配需求预测的业务诉求
• 若要切换为xgboost引擎，只需将set_engine中的参数改为"xgboost"，获取真实标签的逻辑无需调整
• 可以通过交叉验证测试不同a值的效果，找到最贴合自身业务成本结构的参数

内容的提问来源于stack exchange，提问作者LGe