双侧90%置信区间的p值阈值如何设定？A/B测试显著性判定疑问

核心结论 #

• 你目前设定的p<0.1 或 p>0.9的显著性判定规则不适配90%置信度双侧检验的常规计算逻辑，属于对p值定义的混淆。
• 如果你使用的是常规A/B测试工具（包括你参考的Excel显著性计算工具）默认输出的、已经整合双侧尾部概率的标准p值，判定规则非常简单：只要p值小于0.1，就代表达到90%置信度的统计显著，完全不需要额外判断p值是否大于0.9，更不需要套用0.05/0.95的阈值。

常见认知误区来源 #

“p>某阈值就算显著”的规则，只在拿到单侧p值的场景下才成立，和你当前用的双侧p值是完全不同的计算逻辑：

• 单侧p值仅计算观测值某一个方向上的尾部累积概率，比如固定计算P(Z > 观测z值)，取值范围覆盖0-1。如果用单侧p值做双侧检验，需要同时检查两个方向的尾部显著性，对应的判断规则是：单侧p值 < alpha/2 或者 单侧p值 > 1 - alpha/2。对应90%置信度、alpha=0.1的场景，套这个规则的阈值恰好是p<0.05 或 p>0.95——这就是你之前疑惑的那组规则，但你并没有在计算单侧p值，所以这组规则对你完全不适用。
• 常规A/B测试计算器、统计软件输出的默认p值，都是提前把两个尾部的概率加总算好的双侧p值，含义是“观测到当前（或更极端）效应的概率”：取值越接近0，代表反对原假设的证据越强；取值越接近1，代表观测结果和原假设的零效应几乎没有偏差，根本不可能“p越接近1越显著”。比如双侧p值等于0.95的时候，代表你的观测效应几乎和零效应完全一致，距离统计显著的要求差得非常远。

关于0.05/0.95阈值的正确适用场景 #

• 如果是采用双侧p值做95%置信度的检验（对应alpha=0.05），判定规则仅为p<0.05，同样不需要判断p值是否大于0.95。
• 只有当你拿到的是未拆分方向的单侧p值，需要转换为双侧检验判断时，才会用到0.05/0.95的双阈值规则，和你现在的计算路径不匹配。

你当前场景的可落地判断流程 #

1. 先确认你计算的p值类型：
   • 如果是和z-score配套的标准双侧p值（计算逻辑为p=2*(1 - Φ(|z|))，Φ为标准正态分布累积函数）：直接判断p < 0.1即可，无其他附加判断条件
   • 如果你计算的是仅对应正方向的单侧p值：再按照p<0.05 或 p>0.95的规则判断
2. 你完全不需要手动执行除以2、拆分alpha/2的操作——这些调整本来就是“单侧p值转双侧判断”的专属步骤，如果你从一开始计算的就是双侧p值，这些拆分逻辑已经内置在p值的计算过程里，不需要额外手动调整。

内容的提问来源于stack exchange，提问作者xcentralx