对lmer模型应用stats::step函数后输出模型AIC更高的问题咨询
实操遇到的问题场景
- 初始构建的复杂混合效应模型:
modelComplex1 <- lmer( log(value) ~ (time | ID) + time + (X1 + X2 + X3) ^ 2, data = test, REML = TRUE, lmerControl(optimizer = "bobyqa", optCtrl = list(maxfun = 100000)) )
- 调用原生
step()执行变量选择的代码:step(modelComplex1) - step函数输出的推荐最优模型形式:
log(value) ~ (time | ID) + time + X2 + X3 - 按照输出手动重构的推荐模型:
modelStepComplex1 <- lmer( log(value) ~ (time | ID) + time + X2+ X3, data = test, REML = TRUE, lmerControl(optimizer = "bobyqa", optCtrl = list(maxfun = 100000)) )
实际计算得到的异常结果
执行AIC(modelComplex1, modelStepComplex1)得到的输出:
| 模型 | 自由度 | AIC值 |
|---|---|---|
| modelComplex1 | 25 | 6944.118 |
| modelStepComplex1 | 9 | 6950.111 |
核心矛盾:step函数输出的“最优模型”,其独立拟合后的实际AIC值反而远高于初始复杂模型,和“step筛选出AIC最小模型”的预期完全不符。
问题产生的核心原因
- 第一,REML估计下的AIC本身不具备跨模型可比性。REML(限制性极大似然)的对数似然是扣除固定效应维度后的残差部分计算得到的,仅适合比较随机效应结构完全一致、仅固定效应项存在差异的嵌套模型。当模型的固定效应项数量差异较大时,REML似然的分母约束项发生变化,直接基于该似然计算的AIC没有跨模型比较的意义。
- 第二,stats::step对lmer对象的适配存在本质缺陷。原生
step()是为lm、glm等普通线性/广义线性模型设计的,处理lmer输出的merMod类对象时,既不会自动切换ML估计保证AIC可比,也不会对删减变量后的模型做完整重新拟合,仅基于初始模型的拟合结果做近似似然拆解,计算出的AIC是近似值,和独立重新拟合模型得到的真实AIC存在本质偏差。 - 第三,逐步搜索是局部贪心逻辑,不保证全局AIC最小。
step()的逐次筛选逻辑是每一步只删除能让当前节点近似AIC下降最多的项,一旦走到某一步删除任意剩余项都会导致当前近似AIC上升,就停止搜索并返回当前模型,全程不会回溯对比搜索路径上所有出现过的模型的真实AIC值,自然可能出现返回的模型实际AIC远高于其他路径节点的情况。
可落地的修正方案
- 避免直接用原生
step()处理lmer模型,优先使用lmerTest::step(),该函数专门针对merMod类模型做了适配:比较随机效应时自动使用REML估计,比较固定效应时自动切换为ML估计,搜索过程会对每一步的模型做完整重新拟合,计算的AIC具备跨模型可比性。 - 如果一定要使用原生
step(),需要先将初始模型设置为ML估计(REML = FALSE)再传入函数,保证搜索过程中计算的AIC参考逻辑一致。 - 手动对比两个模型的AIC时,必须将所有参与对比的模型统一为ML估计后再计算AIC,不能直接使用REML拟合的结果做跨模型AIC比较。
内容的提问来源于stack exchange,提问作者Oscar
相关产品推荐
相关产品推荐

