富集类别序贯测试（Sequential testing of enriched categories）中的多重检验校正困境及解决方案咨询

你遇到的这个问题在定制化富集检验的生物信息场景里真的挺棘手的——为了优化现有的生物学term富集检验方法，你开发了基于特殊置换的新方案，替代传统的超几何检验，但20000次置换后算出的p值上限只有10^{-5}，再加上上千个假设的FDR校正后居然全军覆没，连一个显著富集项都没剩下，换谁都会头大。下面针对你的问题逐一给出实操性的建议：

关于先标准方法过滤、再新方法验证的合法性与实操步骤 #

这个思路完全可行，但必须严格控制整体假阳性率，绝对不能把两步当作独立检验来做，不然会犯“数据重复利用”的错误，导致I类错误失控。具体要做这几点：

• 先设定好全局的假阳性控制水平（比如常规的α=0.05），然后把这个α拆分给两步检验。比如用简单的拆分方式：给第一步标准超几何检验分配α₁=0.01，第二步新方法分配α₂=0.04；生物信息场景里这种简单拆分就够用，也可以用更高效的序贯分配策略。
• 第一步用标准方法做FDR校正时，要把校正后的阈值设为和α₁对应的cutoff，而不是常规的0.05。比如α₁=0.01时，第一步只保留FDR<0.01的term。
• 第二步对筛选后的子集用新方法检验时，绝对不能再用原来的上千个假设做多重检验校正，只需要针对筛选后的子集大小（比如筛选后剩下k个term）做校正——比如用k来做Bonferroni校正，或者仅对这个子集做FDR校正。更严谨的话，可以用「封闭检验（closed testing）」的思路，确保整体的假阳性率被牢牢控制住。

其他可尝试的优化方向 #

• 优化置换检验的p值计算：你现在的p值上限是10^{-5}，本质是20000次置换带来的分辨率限制。可以尝试：
  • 增加置换次数到10万次，这样p值的分辨率能到1e-5，能更精准地区分不同term的显著性；
  • 用「中点p值（mid-p value）」替代常规的置换p值计算，能缓解离散p值带来的校正偏差，尤其是在置换次数有限的时候。
• 换用置换驱动的多重检验校正：常规的FDR校正（比如BH方法）是基于连续p值的假设，而置换检验的p值是离散的。你可以用置换整体的分布来做FDR校正：把所有term的置换统计量都计算出来，然后基于这些置换后的统计量的全局分布，来计算每个观测p值对应的校正后FDR，这样更适配你的置换检验场景。
• 合并相似的富集类别：如果上千个假设里有很多语义相似的term（比如GO注释里的父类和子类、KEGG里的重叠通路），可以先对term做语义聚类，把相似的term合并成元类别（meta-term），直接减少假设的数量，这样多重检验的惩罚会大幅降低，能有效提高校正后显著项的比例。
• 重新审视新方法的统计量：如果你的新方法统计量在置换中几乎不会出现极端值，导致所有p值都极小，但FDR校正后还是不显著，可能是统计量的“区分度”不够——比如这个统计量对真正的富集term和随机term的差异不明显，看起来p值小，但实际的效应量很低。可以考虑调整统计量的设计，比如加入term的注释信息、基因的表达量权重等，提升统计量的区分能力。

希望这些方案能帮你突破当前的困境，如果能提供更多细节（比如具体的置换策略、term的注释类型、样本量等），还能给出更针对性的建议。

备注：内容来源于stack exchange，提问作者Rachel