lme4模型中未覆盖全部固定效应水平的随机组是否需要排除？

核心结论 #

• 这类仅含单一固定效应水平的物种观测不需要剔除，应该保留在模型中，剔除反而会导致估计偏差、统计功效下降，甚至破坏随机效应的分布假设。

具体原因 #

1. 对固定效应估计的价值

仅由单一员工投喂的物种，本身可以为固定效应的主效应估计提供有效信息：比如所有仅Alan投喂的物种的平均体重，和所有仅Susie投喂的物种的平均体重的差异，本身就是员工效应的组成部分，剔除这部分数据等于人为丢弃了大量可解释的变异。

2. 对随机效应估计的价值

• 你设定的(1 + employee | species)结构包含三个随机效应参数：随机截距的方差、随机斜率的方差、截距和斜率的协方差。
• 仅含单一员工投喂的物种虽然无法单独估计自身的斜率，但是可以帮助模型更准确地估计随机截距的方差，同时也能为随机斜率的方差估计提供边缘信息，不会导致模型无法收敛，最多只会让随机斜率的方差估计更保守（向0收缩），这反而符合混合效应模型的收缩特性，是合理的。
• 如果你强行剔除这些物种，剩下的同时有两位员工投喂的物种可能本身就存在选择偏差（比如只有常见物种才会分配两位员工投喂），反而会导致结果失真。

特殊处理建议 #

如果拟合模型时出现边界收敛警告（比如随机斜率方差被估计为0），可以做两个调整：

• 先尝试给lmer添加参数control = lmerControl(optimizer = "bobyqa")更换优化器，解决收敛问题
• 如果仍然有警告，且你的研究核心是员工的主效应，不需要估计物种层面的斜率异质性，可以将随机效应结构简化为(1 | species)，此时单投喂员工的物种的价值会更高，完全不会影响模型估计

相关参考依据 #

• 混合效应模型经典著作《Linear Mixed Models: A Practical Guide Using Statistical Software》中明确提到，不平衡数据、组内固定效应水平缺失是分层数据的常见情况，不需要额外剔除，最大似然/受限最大似然估计本身就可以在这类数据下得到无偏的估计结果
• lme4包官方文档的常见问题章节也提到，随机斜率模型允许部分组缺乏斜率估计所需的水平，模型的收缩机制会自动为这些组的斜率赋予接近总体平均效应的估计，不需要人工剔除数据

内容的提问来源于stack exchange，提问作者puffin