You need to enable JavaScript to run this app. 对lmer模型应用stats::step函数后输出模型AIC更高的问题咨询
优惠活动
大模型
产品
解决方案
定价
更多

对lmer模型应用stats::step函数后输出模型AIC更高的问题咨询

实操遇到的问题场景
  • 初始构建的复杂混合效应模型:
modelComplex1 <- lmer(
log(value) ~ (time | ID) + time + (X1 + X2 + X3) ^ 2,
data = test,
REML = TRUE,
lmerControl(optimizer = "bobyqa", optCtrl = list(maxfun = 100000))
)
  • 调用原生step()执行变量选择的代码:step(modelComplex1)
  • step函数输出的推荐最优模型形式:log(value) ~ (time | ID) + time + X2 + X3
  • 按照输出手动重构的推荐模型:
modelStepComplex1 <- lmer(
log(value) ~ (time | ID) + time + X2+ X3,
data = test,
REML = TRUE,
lmerControl(optimizer = "bobyqa", optCtrl = list(maxfun = 100000))
)
实际计算得到的异常结果

执行AIC(modelComplex1, modelStepComplex1)得到的输出:

模型自由度AIC值
modelComplex1256944.118
modelStepComplex196950.111

核心矛盾:step函数输出的“最优模型”,其独立拟合后的实际AIC值反而远高于初始复杂模型,和“step筛选出AIC最小模型”的预期完全不符。

问题产生的核心原因
  • 第一,REML估计下的AIC本身不具备跨模型可比性。REML(限制性极大似然)的对数似然是扣除固定效应维度后的残差部分计算得到的,仅适合比较随机效应结构完全一致、仅固定效应项存在差异的嵌套模型。当模型的固定效应项数量差异较大时,REML似然的分母约束项发生变化,直接基于该似然计算的AIC没有跨模型比较的意义。
  • 第二,stats::step对lmer对象的适配存在本质缺陷。原生step()是为lm、glm等普通线性/广义线性模型设计的,处理lmer输出的merMod类对象时,既不会自动切换ML估计保证AIC可比,也不会对删减变量后的模型做完整重新拟合,仅基于初始模型的拟合结果做近似似然拆解,计算出的AIC是近似值,和独立重新拟合模型得到的真实AIC存在本质偏差。
  • 第三,逐步搜索是局部贪心逻辑,不保证全局AIC最小。step()的逐次筛选逻辑是每一步只删除能让当前节点近似AIC下降最多的项,一旦走到某一步删除任意剩余项都会导致当前近似AIC上升,就停止搜索并返回当前模型,全程不会回溯对比搜索路径上所有出现过的模型的真实AIC值,自然可能出现返回的模型实际AIC远高于其他路径节点的情况。
可落地的修正方案
  • 避免直接用原生step()处理lmer模型,优先使用lmerTest::step(),该函数专门针对merMod类模型做了适配:比较随机效应时自动使用REML估计,比较固定效应时自动切换为ML估计,搜索过程会对每一步的模型做完整重新拟合,计算的AIC具备跨模型可比性。
  • 如果一定要使用原生step(),需要先将初始模型设置为ML估计(REML = FALSE)再传入函数,保证搜索过程中计算的AIC参考逻辑一致。
  • 手动对比两个模型的AIC时,必须将所有参与对比的模型统一为ML估计后再计算AIC,不能直接使用REML拟合的结果做跨模型AIC比较。

内容的提问来源于stack exchange,提问作者Oscar

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.20 17:36:04