咨询：未开展干预前能否基于显著性检验划分实验组与对照组？

你的判断完全正确——在还没开展电话呼叫、没有任何相关观测数据（比如两组的成功率、成功次数）的前提下，根本没法基于显著性检验完成实验组和对照组的划分。

为啥这么说？咱得先理清楚显著性检验的核心逻辑：这类检验（包括二项分布相关的卡方检验、精确二项检验等）的本质是基于已有的观测数据，判断两组之间的差异是否由随机因素导致。它必须依赖两组的实际表现数据——比如实验组的电话成功触达数、转化数，对照组的对应指标。现在连干预动作都没做，没有任何可对比的观测值，检验就成了“无米之炊”，完全没有计算基础。

可能你的老板混淆了两个关键概念：

• 随机分组：这是实验设计的第一步，目的是让实验组和对照组在初始状态（比如用户特征、潜在转化率）上尽可能均衡，避免其他因素干扰后续效果判断。这个不需要任何前置数据，用随机数分配这类方法就能完成。
• 基于显著性检验的分组：这完全行不通，因为检验本身依赖实验后的结果数据，没法反过来用来做分组决策。

如果老板的真实需求是“让分组能保证后续显著性检验有足够统计效力”，那正确的做法是先做样本量计算：你需要先预设预期效应量（比如电话呼叫能提升多少转化率）、显著性水平（通常取0.05）、统计效力（通常取0.8），然后用二项分布的样本量公式（或统计工具）算出每组需要的样本数，再随机分配样本到两组。但这也和“用显著性检验分组”不是一回事。

总结一下：你的想法完全没问题，没有前置数据的情况下，显著性检验根本没法用来分组，合理的路径是先做随机分组，等实验完成拿到数据后，再用显著性检验判断电话呼叫的效果。

内容的提问来源于stack exchange，提问作者Stephen Theunissen