基于Z检验与卡方检验的A/B测试样本量确定及方法问询

没问题，咱们来拆解这个A/B测试的检验问题——针对对照组和变体组的转化/未转化列联表，要检验转化率是否和处理方式无关，完全可以采用两种经典的双尾检验方法，具体如下：

1. 卡方独立性检验（Chi-square Test of Independence） #

• 适用场景：这是2x2列联表分析的标准方法之一，核心是对比观测到的转化/未转化频数，和“两组转化率无差异”假设下的期望频数，通过卡方统计量衡量差异程度。
• 双尾特性：虽然卡方统计量本身是单方向的（只看差异大小），但它检验的是“分组和转化结果是否存在关联”，不管变体组转化率是高于还是低于对照组，只要差异足够显著，就会拒绝原假设，本质上对应双尾的备择假设（H₁：两组转化率不相等）。
• 注意点：当2x2表的自由度为1时，卡方统计量等于双比例Z统计量的平方，两种方法的检验结果完全等价；使用时需保证每个单元格的期望频数≥5，否则正态近似的可靠性会下降。

2. 双比例Z检验（Two-Proportion Z-Test） #

• 适用场景：直接聚焦两组转化率的差异，通过正态分布近似来检验原假设H₀：p₁ = p₂（p₁为对照组转化率，p₂为变体组转化率）。
• 双尾特性：可以直接设定双尾备择假设H₁：p₁ ≠ p₂，计算Z统计量后，对比双尾的临界值或直接看双尾p值——只要Z的绝对值足够大，就说明两组转化率存在显著差异（不管谁高谁低）。
• 注意点：要求两组的转化数和未转化数都≥5，确保正态近似的合理性；如果样本量极小，也可以考虑用双尾的Fisher精确检验作为替代，但它属于精确检验范畴。

总结一下：这两种方法都完全适配你的A/B测试场景，且在满足近似条件时结果等价，都能实现双尾检验的需求——判断两组转化率是否存在显著差异，而不预设差异的方向。

内容的提问来源于stack exchange，提问作者Dror Atariah