降低p值阈值是否总能获得更低的错误发现率（FDR）？

这个规律并非始终成立，大部分场景下确实符合直觉，但存在少数特殊场景会失效甚至出现反效果。

常规成立的前提 #

在单检验、无p-hacking行为、样本量和检验效力固定的前提下，降低p值阈值（比如从0.05降到0.01）相当于提高显著性判定门槛，假阳性（无真实效应被误判为有效应）的发生概率会直接下降，假发现率（FDR）和假发现的绝对数量都会同步降低，这也是大众直觉认知的来源。

规律失效的特殊场景 #

• 场景1：p-hacking行为随阈值收紧同步增加
  如果研究者知道p值阈值提高后，为了凑出显著结果，更多使用调整样本量、删失异常值、更换检验方法等p-hacking操作，反而会推高假发现数量。现有模拟研究显示，当p-hacking强度随阈值收紧提升30%以上时，最终的假发现率甚至会高于0.05阈值下的水平。
• 场景2：检验效力极低的大规模筛查类研究
  当研究的真实效应占比极低（比如全基因组关联分析中真实有意义的位点占比不到0.1%），同时单检验效力低于20%时，过度收紧p值阈值会把本就很少的真阳性结果几乎全部筛除，剩余显著结果中的假阳性占比下降幅度非常有限。如果你的研究目标是找到尽可能多的真阳性、同时控制整体假发现的绝对数量，此时降低阈值反而会迫使你做更多轮验证实验，整个流程的假发现总数量反而会上升。
• 场景3：和多重检验调整逻辑冲突
  如果已经使用了严格的多重检验校正（比如Bonferroni校正），再额外降低p值阈值相当于重复校正，会导致检验效力暴跌，大量真实效应被漏判。后续为了获得足够多的候选结果，研究者往往会放宽其他维度的筛选标准（比如降低效应量阈值），反而会引入更多假发现。

核心逻辑：假发现的数量不仅和p值阈值相关，还和研究者行为、检验效力、后续研究流程强绑定，只调整p值阈值而不控制其他变量，很容易出现反直觉结果。

内容的提问来源于stack exchange，提问作者P.ython