嘿，这个问题其实戳中了多重检验里一个很容易被忽略的细节——你用的两种方法，本质上是基于完全不同的统计逻辑，不是简单的p值校正方式差异，所以结果才会差这么多。我来给你拆解清楚：

你给出的两组p值对比（左为单独anova1结果，右为multcompare结果）如下：

1. 单独做21次anova1的问题 #

当你对每两组单独运行anova1时，每次检验的组内方差（误差项）只来自当前比较的两个组——相当于你每次都在做一个仅包含两组的单因素ANOVA（和两样本t检验等价）。此时你得到的p值是基于这两组各自的样本方差计算出来的，完全没有用到其他5组的信息。

你计划用的Bonferroni校正只是简单地把显著性水平从0.05调整为0.05/21，但并没有改变每个p值本身的计算逻辑——每个p值依然是基于两组的局部方差，这就导致结果非常依赖于被比较两组的方差波动。

2. multcompare结合ANOVA的正确逻辑 #

multcompare的流程是统计上规范的多重比较方式：

• 首先对所有7组数据做一次整体的单因素ANOVA，得到整体的组内均方（MSW，也就是所有组合并后的方差估计值）；
• 然后用这个统一的合并方差来计算所有两两比较的标准误，再施加Bonferroni校正（或其他多重检验方法）。

这个合并方差是基于所有组的样本信息，比单独两组的方差估计更稳健（尤其是当某些组的样本量小或方差波动大时），但也会直接改变每个比较的t值（或F值），进而彻底改变p值。

3. 你的例子差异的具体原因 #

• 对于p值从0.0016变为1.000的情况：
  你单独比较那两组时，它们的组内方差可能很小，导致计算出的组间差异看起来很“显著”；但multcompare用了所有7组的合并方差，这个合并方差可能远大于那两组的局部方差，使得组间差异的标准误变大，最终计算出的p值大幅上升，经过Bonferroni校正后就变成了1.0（完全不显著）。
• 对于p值从0.0070变为0.0019的情况：
  反过来，那两组的局部方差可能比所有组的合并方差大很多，单独检验时标准误大，p值偏高；而用合并方差后标准误变小，组间差异的显著性被放大，再经过Bonferroni校正后，p值反而比你单独检验的未校正p值更小（这种情况是因为合并方差更准确，降低了误差）。

4. 哪种方法更可靠？ #

显然，multcompare的方法才是正确的选择：

• 先做整体ANOVA确认组间存在整体差异，再用基于合并方差的多重比较方法（比如Bonferroni、Tukey等）做两两比较；
• 单独做多次两两ANOVA会导致方差估计不稳健，而且本质上是重复独立检验，容易引入更多的统计误差，结果不可靠。

内容的提问来源于stack exchange，提问作者user9870921