如何用R的Brms与LOO包基于Leave-One-Out交叉验证计算贝叶斯建模的MAE

要计算留一交叉验证（LOO）版本的平均绝对误差（MAE），核心逻辑是对每个观测样本，用排除该样本后的数据集拟合模型，再预测该样本的取值，最后计算所有样本绝对误差的平均值。借助loo包的近似方法可高效实现，无需逐一重新拟合模型。

实现步骤与代码 #

1. 加载工具包、准备数据并拟合基础模型
2. 获取LOO交叉验证的后验预测分布
3. 计算每个样本的绝对误差并求平均得到LOO-MAE

# 加载所需包
library(brms)
library(loo)
library(tidybayes)

# 生成可复现数据
set.seed(123)
n <- 100
predictor_1 <- rnorm(n)
predictor_2 <- rnorm(n)
test_score <- 5 + 2*predictor_1 + 3*predictor_2 + rnorm(n)
data <- data.frame(test_score, predictor_1, predictor_2)

# 拟合贝叶斯线性模型
fit <- brm(test_score ~ predictor_1 + predictor_2, data = data)

# 获取LOO交叉验证的后验预测分布（响应尺度）
# 采用PSIS-LOO近似方法，大幅降低计算成本
loo_preds <- loo_predict(fit, type = "response")

# 计算每个观测的预测均值（若偏好稳健性，可替换为中位数）
loo_pred_means <- colMeans(loo_preds)

# 计算每个样本的绝对误差
loo_abs_errors <- abs(loo_pred_means - data$test_score)

# 计算LOO-MAE
loo_mae <- mean(loo_abs_errors)
cat("LOO交叉验证MAE:", loo_mae, "\n")

# 对比普通MAE（用于参考）
regular_preds <- predict(fit, type = "response")[,1]
regular_mae <- mean(abs(regular_preds - data$test_score))
cat("普通MAE:", regular_mae, "\n")

关键说明 #

• loo_predict依赖PSIS-LOO近似算法，无需逐一重新拟合n个模型，既保证效率又能提供可靠的留一预测结果。
• 若需要更稳健的点预测，可将colMeans替换为matrixStats::colMedians（需先安装matrixStats包）。
• LOO-MAE是更可靠的模型泛化能力指标，避免了普通MAE中用同一数据集拟合和预测导致的乐观偏差。

内容的提问来源于stack exchange，提问作者user8460166