GLMM事后检验中跨季节入侵状态比较的p值多重调整问题

问题背景 #

我设计了一项实验，在10个样地中测定一类无脊椎动物的丰度，样地按入侵物种存在情况分为两类（5个入侵样地 vs 5个未入侵样地）。为控制季节效应，10个样地全年调查3次。GLMM分析显示入侵状态×季节的交互作用显著，随后用emmeans做事后比较。

因为只关注每个季节内入侵与未入侵样地的差异，不关心同一入侵状态下的季节变化，所以用了语句：
pairs(emmeans(model,~invasion status|season))

这样每个季节单独做一次入侵/未入侵的比较，共3次检验，但没法做p值调整。我假设这么做合理，但想确认这个假设是否成立，以及有没有方法控制这类多重比较（比如分组检验等）。

解答 #

1. 你的假设是否安全？ #

这个假设是合理的，但前提是你的研究问题确实只聚焦于季节内的入侵状态差异，而非所有可能的成对比较。从统计逻辑上，当交互作用显著后，针对“每个分组内的因子水平比较”属于有明确预设的检验，而非探索性的全pairwise比较，这种情况下不调整p值是可以接受的——尤其是当你的研究设计一开始就瞄准了这3组特定比较时。

2. 如何进行多重比较调整？ #

如果你还是想对这3次检验进行p值校正，有几种可行方法：

• 在emmeans中直接指定调整方法：先获取按季节分组的emmeans对象，再用pairs()的adjust参数指定校正方法（如Bonferroni、Holm等）。示例代码：

  # 获取按季节分组的emmeans
  emm <- emmeans(model, ~invasion status|season)
  # 对3次比较统一进行Holm校正
  pairs(emm, adjust = "holm")
  

  Holm校正比Bonferroni更高效，在控制一类错误的同时保留更高的检验效力。
• 用contrast()函数自定义比较：如果需要更精准地锁定目标比较，可以手动构建3组入侵vs未入侵的对比，再统一调整p值：

  emm <- emmeans(model, ~invasion status*season)
  # 构建3个季节的入侵/未入侵对比矩阵
  contrasts <- list(
    spring = c(1, -1, 0, 0, 0, 0),
    summer = c(0, 0, 1, -1, 0, 0),
    autumn = c(0, 0, 0, 0, 1, -1)
  )
  # 应用Bonferroni校正
  contrast(emm, contrasts, adjust = "bonferroni")
  

  这种方法能确保只针对你关心的3次比较进行校正，避免不必要的统计保守。

3. 额外建议 #

• 无论是否调整p值，都要在论文中明确说明检验策略：是预设的季节内入侵状态比较，还是探索性的多重比较，以及是否进行了p值调整、用了哪种方法。
• 若为预设研究问题，审稿人通常会接受不调整p值的做法；若为事后探索性比较，校正p值会更严谨。

内容的提问来源于stack exchange，提问作者Julien Piquet