心理实验中何时用置换检验比较均值可避免I类错误？

我之前处理心理实验数据时，也纠结过置换检验在两组均值对比中的可靠性，刚好碰到过和你一样的疑问——大多数资料都说它可行，但那篇研究提到的I类错误膨胀确实是个容易踩的坑，我整理了一些关键点：

• 常规场景下的适用性：一般来说，当两组样本量大致相等时，置换检验用于均值差异比较是合理的。它不依赖正态分布这类参数假设，对心理实验中常见的非正态指标（比如反应时、量表得分这类偏态数据）适配性不错，这也是很多人优先考虑它的原因。

• 论文指出的I类错误膨胀风险：你提到的那篇研究明确指出，在特定情况下用置换检验检验均值差异会导致I类错误率超过设定的α水平。这种情况大多发生在两组方差存在明显差异，或者样本量看似相近但实际有细微不平衡的时候——心理实验里偶尔会因为被试中途退出出现这种小幅度的样本量偏差，这时候就要格外注意。

• 实操中的规避建议：

  • 先核查方差齐性：如果两组方差差异显著，可以先尝试数据变换（比如对数、平方根变换）来缩小方差差距，或者改用基于中位数的置换检验，它对异方差的鲁棒性更强；
  • 尽量保证样本量严格一致：如果实验设计允许，尽量让两组的有效被试数完全相同，这能大幅降低I类错误膨胀的概率；
  • 交叉验证结果：如果数据满足独立样本t检验的前提（正态性+方差齐），可以同时用t检验和置换检验做对比，若两者结论一致，结果的可靠性更高；若结论冲突，优先检查方差和样本量的问题。

内容的提问来源于stack exchange，提问作者verybadatthis